Der Googlebot verhält sich meinem Blog gegenüber in den letzten Wochen etwas merkwürdig. Er schaut zwar täglich oft genug vorbei, die Indexierung neuer Beiträge dauert aber trotzdem verhältnismäßig lang.
Im Netz findet man einige Meldungen von anderen Website-Betreibern und SEO’s die ähnliches bemängeln.
Fehlender Crawling-Bedarf
Klar ist: ich habe zwischen November 2021 und August 2022 keine neuen Beiträge gepostet und auch sonst nichts an der Seite optimiert. Dementsprechend wenig wurde mein Blog gecrawlt. Bei fehlender Aktualisierung ist das absolut normal, da der Crawling-Bedarf stark zurückgeht.
Am 10.08.2022 veröffentlichte ich dann den ersten Beitrag nach neun Monaten. Bis dieser das erste mal gecrawlt wurde vergingen volle 13 Tage. Das ist schon immens lang, da der Googlebot trotzdem nahezu täglich meine Startseite und andere Bereiche abrief.
Warum werden neue Beiträge erst spät indexiert?
Da frage ich mich: warum werden neue Beiträge, deren Links der Googlebot definitiv schon gefunden hat, nicht direkt gecrawlt und indexiert sondern erst 13 Tage später? Das kann auch nicht an technischen oder inhaltlichen Problemen gelegen haben. Nach den besagten 2 Wochen wurden alle neuen Beiträge anstandslos gecrawlt und sofort indexiert. In dem Zusammenhang hat Google auch gleich einen sogenannten Deep-Crawl durchgeführt. Es wurden innerhalb von 2-3 Minuten nahezu alle bisher indexierten Seiten erneut gecrawlt. Seitdem liegt die Crawling-Frequenz auch wieder deutlich höher.
Trotzdem haben zwei neue Beiträge vom 31.08.2022 und 03.09.2022 wieder fünf beziehungsweise zwei Tage gebraucht, bis sie überhaupt das erste mal gecrawlt wurden.
Genau als ich angefangen habe diesen Beitrag zu schreiben (05.09.2022 gegen 22:00 Uhr) flog der Googlebot förmlich über meinen Blog und crawlte direkt hintereinander auch die beiden Beiträge. Bekannt waren ihm diese beiden Links aber definitiv schon länger.
Warum ist das so? Warum brauchen neue Beiträge so verhältnismäßig lang um indexiert zu werden.
5 Tage ist im Prinzip für einen kleinen Blog meiner Größe vollkommen in Ordnung. Aber warum crawlt Google jeden Tag etliche Male Seiten die schon lange im Index sind und lässt die neuen, interessanten Artikel außen vor?
Früher wurden meine Beiträge deutlich schneller indexiert.
Helpful Content Update schuld?
Kann das Helpful Content Update damit in Zusammenhang stehen? Google hat am 25.08.2022 damit begonnen besagtes Update auszurollen. Sinn und Zweck ist es, Inhalte in der Google Suche nach vorne zu bringen die von Menschen für Menschen geschrieben wurden. Für SEOs wird es immer wichtiger Inhalte zu produzieren die echten Mehrwert bieten, da Google inzwischen recht gut bewerten kann ob es sich um guten Content handelt.
Könnte es also sein, dass dieses Update für das zaghaftere Crawlen verantwortlich ist?
Technische Probleme bei Google?
Oder sind es doch vielleicht technische Probleme bei Google? Fehlende Kapazitäten oder durch ausfälle bedingte Verzögerungen?
Am 21.07.2022 gab es eine Meldung, dass im Umkreis von London zwei Rechenzentren aufgrund der enormen Hitze ihren Betrieb zumindest Teilweise einstellen mussten. Betroffen war ein Rechenzentrum von Oracle und eins von Google. Die Kühlung konnte nicht mehr ausreichend gewährleistet werden.
Wirklich herausfinden wird man das vermutlich nicht. Aber vielleicht kann man ein paar Erfahrungen dazu sammeln.
Fazit
Warum der Googlebot (in meinem Fall) gerade so schwerfällig ist, kann ich hier nicht genau eingrenzen. Vielleicht braucht er noch ein bisschen Zeit um aus der langen Pause, die ich mit neuen Beiträgen gemacht habe, endgültig und nachhaltig „aufzuwachen“.
Ich beobachte das die nächsten Wochen weiter. Aktuell habe ich viele Themen und veröffentliche regelmäßig neue Inhalte. Wenn sich etwas ändert werdet ihr es hier erfahren.
Gerne könnt ihr mir aber auch eure Gedanken und Erfahrungen in den Kommentaren da lassen.
Update 07.09.2022 – 22:45
Interessant ist, dass der Googlebot diesen Artikel nach schon 10 stunden das erste mal gecrawlt hat. Ein weiterer Post, den ich heute Nachmittag gegen 16:00 Uhr veröffentlichte, wurde heute Abend um 20:05 das erste mal gecrawlt. Also nach etwa vier Stunden. Das ist wirklich schnell.
Ob beide Seiten anstandslos indexiert werden, werde ich beobachten.
Ähnliche Beiträge:
Augustiner Alkoholfrei Hell: Ein neues Kapitel für Münchens Traditionsbrauerei
Anhaltende Dürre in Europa – Versickerung von Abwasser als Lösung?
ChatGPT: Der ultimative Alleskönner, der gerade die Welt im Sturm erobert!
CO2 Ausstoß von Internet Traffic pro Gigabyte – Krasse Zahlen
Midjourney: Künstliche Intelligenz zur Bildgenerierung aus Text
WordPress – Googlebot Aufrufe / Zugriffe tracken
WordPress – richtigen Permalink zu geplantem Post in der Zukunft
Zeiten aller Beiträge bis zum ersten crawlen / indexieren
Schreibe einen Kommentar