Langzamere indexering in Google Search Console: hoe komt dat?

De laatste tijd merken we dat nieuwe pagina’s minder snel worden geïndexeerd met behulp van Google Search Console.

Na het toevoegen van nieuwe pagina’s, producten of blogs dienen we altijd een url in via de URL-inspectie tool van Google. Zelfs pagina’s die maanden geleden zijn toegevoegd worden nog niet geïndexeerd door Google.

Deze pagina’s worden niet geïndexeerd door Google, maar dat komt niet vanwege een fout. Soms komt dit wel vanwege een fout, zoals hier bij Sitedeals wordt besproken. Deze redenen laten we even achterwege in deze blog (hier komen we later op terug vanwege de complexiteit).

Google heeft in een verklaring aangegeven waarom pagina’s langzamer worden geïndexeerd. Sommige mensen ervaren dat hun urls wel zijn gecrawld door Google, maar dat deze pagina’s vervolgens nog niet opgenomen in de zoekresultaten. Er zijn verschillende redenen waarom pagina’s minder snel worden opgenomen:

• De pagina’s laden te langzaam (dit kan bijvoorbeeld aan de server liggen of aan de aanwezigheid van zware afbeeldingen)
• Dit kan liggen aan het crawl budget

Wat is een crawl budget?

Om inhoud van pagina’s te indexeren crawlt Google websites. Wanneer een website niet goed gecrawld kan worden heeft dit negatieve gevolgen voor jouw organische vindbaarheid in Google. Het crawl budget kan hiermee te maken hebben.

Misschien heb je nog nooit van crawl budget gehoord, maar wanneer je merkt dat jouw pagina’s niet goed worden opgenomen in de zoekresultaten kan het crawl budget een oorzaak zijn.

Google crawlt dagelijks een aantal pagina’s op jouw website. Het crawl budget geeft aan hoeveel pagina’s dit zijn. Hoeveel dit er precies zijn zal dagelijks wel variëren, maar dit blijft wel dagelijks ongeveer dezelfde hoeveelheid.

In Google Search Console kan je zien hoeveel pagina’s er dagelijks gecrawld worden in de afgelopen 90 dagen. Hoeveel pagina’s dit zijn ligt aan de grootte van je website (hoe meer content en pagina’s er zijn, hoe meer crawl budget er is).

Het rapport Crawlstatistieken geeft weer hoeveel crawlverzoeken er zijn verstuurd en of er nog beschikbaarheidsproblemen zijn. Dit rapport kan je het beste gebruiken als je een ervaren gebruiker bent. Het rapport Crawlstatistieken is alleen beschikbaar wanneer je een property op rootniveau hebt aangemaakt. Dit wordt ook wel een domeinproperty genoemd.

Bij de ene klant zien we bijvoorbeeld 15.900 crawlverzoeken, bij de ander 3690 crawlverzoeken in de afgelopen 90 dagen. Je kunt hierbij ook het aantal crawlverzoeken per dag vinden, zie hieronder:

Hoe weet ik of mijn crawl budget verbeterd kan worden?

In Google kan je zien hoeveel pagina’s er in Google zijn opgenomen van jouw website. Dit kan je zien door in Google het volgende in te vullen: “site:website.nl”. Hieronder kan je een voorbeeld vinden:

Wanneer dit aantal pagina’s afwijkt van het aantal pagina’s dat dagelijks in het rapport Crawlstatistieken in Google Search Console wordt aangegeven, dan worden lang niet alle pagina’s door Google gecrawld. Goed om te weten is dat het aantal pagina’s dat Google dat dagelijks gecrawld worden afhankelijk is van de grootte van de website, maar ook bijvoorbeeld van de autoriteit van de website.

Hoe kan ik mijn crawlbudget optimaliseren?

Wanneer je graag wilt dat Google dagelijks meer pagina’s crawlt is het verbeteren van de snelheid van de website belangrijk. Hoe minder tijd Google nodig heeft per pagina, hoe meer pagina’s er gecrawld kunnen worden.

Daarnaast hebben links (externe links) invloed op het crawl budget van jouw website. Hoe meer links er naar jouw website en naar belangrijke pagina’s verwijzen, hoe eerder de pagina’s gecrawld worden. Dit is ook gelijk de reden waarom pagina’s eerst nog geen stabiele positie hebben in Google. Naarmate er meer links naar de landingspagina’s verwijzen, hoe stabieler deze posities worden.