Füttern verboten – Feeds jetzt draussen

von

So, jetzt wirkt sich der Schluckauf aber merklich auf die Besucherzahlen aus. Einfach unglaublich, welchen Müll Google da manchmal produziert. Vor einigen Wochen hatte ich versucht, für mein Seo Blog die ganzen üblen indizierten RSS-Feeds aus dem Google-Index zu werfen und habe da auf das NoIndex Feed Plugin gesetzt. Leider musste ich erkennen, dass die größte Seuche, nämlich die Kommentar-Feeds, überhaupt nicht von dem Plugin angegangen wurden.

Daraufhin habe ich das Plugin aufgebohrt und dafür gesorgt, dass der noindex-Eintrag auch in den Kommentar-Feeds auftauchte. Leider mit dem Erfolg, dass Google sich nicht für 5 Pfennig drum scherte dass da jetzt noindex drin stand, wahrscheinlich fühlte der Googlebot sich von dem eher für Feeds gedachten Eintrag nicht angesprochen.

Dabei Frage ich mich die ganze Zeit, warum Google an allen Fronten dem Duplicate Content an die Gurgel geht, aber die Kommentar-Feeds weiter brav indiziert und zuweilen den Original-Artikel ins Nirwana schickt. Ich verstehe das nicht, es wäre doch so leicht diese Feeds zu erkennen und draußen zu lassen. Die Feeds waren doch noch nie zum Indizieren für den Googlebot gedacht. Diesem verfressenen Vieh sollte endlich mal das Maul gestopft werden. Mit Feeds füttern gehört verboten.

Mal ein Beispiel zu der leidigen Geschichte. Bei einer Suche nach „Googel is broken“ taucht an 32. Stelle der „Google Schluckauf“ Beitrag auf:

Google is broken

Wir sehen also, der Beitrag wurde voll erfasst und steht mit korrekter URL im Google Index. Und jetzt die Gegenprobe, eine Google Suche nach „Google Schluckauf„:

Google is broken

Nichts mehr zu sehen vom Original-Artikel. Die Kommentar-Feeds beherrschen die SERPs. Überhaupt sind 30% Anteil an den indizierten Seiten für die Kommentar-Feeds einfach zu viel des Guten. Vielen Dank für den Schwachsinn. Jetzt reicht’s aber wirklich. Seit heute gibt es eine erweitere robots.txt Datei, von der ich mir eine deutliche Bereinigung der Ergebnisse erhoffe. Jetzt werden alle Feeds gewaltsam vom Googlebot ferngehalten. Ich hoffe, dass der Bot sich dran verschluckt ;-)

Eigentlich hatte ích gehofft, Google würde das Problem von alleine in den Griff bekommen. Denn leider ist das hier nicht das einzige Problem, welches Google mit Feeds und Trackbacks am Laufen hat. Was sollen die vielen Webmaster da draussen machen, die noch nicht einmal was von Duplicate Content und seinen Folgen gehört haben oder die mit dem Jonglieren von robots-txt und WordPress Plugins überfordert sind?

19 Gedanken zu „Füttern verboten – Feeds jetzt draussen“

  2. Hi Gerald,

    ich hab in der robots.txt folgendes und kein Problem mit den Feeds (wahrscheinlich ist Dein Feed einfach zu stark ;-) ):

    User-agent: Googlebot
    Disallow: /*/feed/$
    Disallow: /*/feed/rss/$
    Disallow: /*/trackback/$

    User-agent: *
    Disallow: /wp-
    Disallow: /feed/
    Disallow: /trackback/
    Disallow: /rss/
    Disallow: /page/
    Disallow: /date/
    Disallow: /comments/
    Disallow: /logs/
    Disallow: /usage/
    Disallow: /cgi-bin/
    …

    Antworten

  3. Robert, ich würde für die Feeds und Trackbacks noch die Variante ohne Backslash angeben.

    „/wp-“ wird wohl auch dazu führen, dass alles unter /wp-content/ blockiert wird. In der Bildersuche wirst du somit wohl nicht mehr auftauchen, falls das dein Plan war ;-)

    Das mit dem Kommentarfeeds ist wirklich nervig, aber ich habe nicht erlebt, dass sich irgendwas an meinem Rankings bei Google verbessert hat. Nur eben, dass seit ein paar Wochen keine Feeds mehr in den Ergebnissen stehen, was ja für Suchende schon mal nicht schlecht ist, die meist sowieso keine Ahnung haben was ein Feed ist …

    Antworten
  6. Pingback: Was tun wenn die Feeds im Index sind » Ranking Konzept - SEO News

  10. „Eigentlich hatte ích gehofft, Google würde das Problem von alleine in den Griff bekommen.“

    Ich denke nicht dass Google das überhaupt als Problem ansieht. Die Kommentare sind prinzipbedingt aktueller als der Artikel selbst und die Trackbacks erzeugen sicher auch mehr Backlinks. Die Lösung sollte – wie immer – top-down angegangen werden. Also erste Anlaufstelle immer robots.txt. Wenn sie hier keine so allgemeine Regel erstellen lässt, kann man auf den Seiten mit den Meta-Tags (nofollow) weitermachen. Alles was danach kommt – nofollow-Tags in Links bzw. in den Feeds – ist als optional anzusehen. Google hat nie gesagt, dass sie den Links nicht folgen würden, sie vererben nur keinen Pagerank. Mit Rewrites würde ich allerdings nicht anfangen – in den allermeisten Fällen halten sich die Bots an die Einträge der robots.txt. In irgendeinem Post hatte ich Mißachtungen im bereich von unter 1% gesehen.

    Übrigends würde ich diese Regeln in der robots.txt nicht nur für den Goolgebot setzen, sondern gleich etwas pauschaler, sonst hat man morgen die gleiche Suppe mit Yahoo & Co.

    Antworten

  14. Mir erging es 1000000% ähnlich mit meinem John Chow-Artikel. Was indexiert der Futtbot? Natürlich meinen Feed. Wo steht der in den SERPs? Irgendwo bei 30.

    Gestern, nach über einer Woche zähen Ringens mit der Scheißmachine/Suchmaschine wars dann endlich soweit, daß der Artikel indexiert wurde – prompt schoß er auf Platz 1.

    Ich versuche schon seit Wochen, meinen Feed aus dem Index zu bugsieren. Ich ballere meine Robot.txt voll wie ein Irrer und trage alles brav in den Webmaster-Tools ein etc.

    Die Hardcore-Nummer der totalen De-Indexierung mit anschließender Neuindexierung fahre ich jedoch nicht. Freiwillige vor! :D

    Mal sehen, was die kommende Woche bringt – für mich und meine Nerven. ;)

    Aber wir heißt es hier so schön:

    http://www.existenz24.biz/gruendung/index.php/2007-07-17/das-ganze-duplicate-content-geschwafel.html

    Antworten
  16. Pingback: Wordpress Feeds mit robots.txt einfach aus dem Index fernhalten » Compboard Blog
  18. Pingback: Google Dienste extrem langsam - SEO Blog
  19. Pingback: Feeds in den Suchergebnissen: Problem beseitigt - Bandscheiben-Blog

Schreibe einen Kommentar