Wanneer je een website lanceert, wil je dat Google je site en pagina’s leert kennen. Houd hiervoor rekening met het crawl budget. Het wat? Het crawl budget. Lees verder om te weten te komen wat het crawl budget precies inhoudt, waarom het belangrijk is en hoe je het verhoogt.
Laten we beginnen met het uit de wereld helpen van een misvatting: het crawl budget heeft niks te maken met geld. Wanneer Google besluit om jouw website te gaan crawlen en indexeren, wordt jouw crawl budget bepaald. Een Googlebot scant tijdens het crawlen van jouw website meerdere pagina’s om erachter te komen waar nieuwe content en inhoud is geplaatst. Eén keer per maand komt de Googlebot langs voor een diepgaande crawlsessie, vrijwel iedere dag komt de bot langs voor een korte sessie.
De Googlebot gaat tijdens de crawlsessie langs zoveel mogelijk pagina’s, Google wil namelijk weten waar de inhoud is aangepast of zelfs volledig nieuwe inhoud is geplaatst. Toch is de tijd, oftewel het crawl budget van de Googlebot, niet oneindig. Met andere woorden: het crawl budget zal na het crawlen van een aantal pagina’s op zijn. De bot stopt dan ook met het crawlen van andere pagina’s. Wanneer pagina’s niet worden gecrawld zullen ze ook niet vindbaar zijn voor Googlegebruikers.
De Googlebot zal geen tijd besteden aan pagina’s waarvan deze denkt dat ze niet relevant zijn of waar de kwaliteit niet goed genoeg van is. Wanneer deze pagina’s niet worden gecrawld, is het later ook onmogelijk om de pagina vindbaar te maken voor bezoekers vanuit zoekmachines. Zorg er dus voor dat de relevantie en kwaliteit goed zijn. Daar zometeen meer over.
Wanneer je een kleine site hebt met slechts een paar pagina’s, hoef je je eigenlijk geen zorgen te maken over het crawl budget. De Googlebot zal alle pagina’s crawlen voordat het budget op is.
Grote sites met heel veel pagina’s, bijvoorbeeld e-commercesites, hebben wel te maken met het crawl budget.
Maar hoe kom je erachter wat jouw crawl budget precies is? Daar heb je een handig hulpmiddel voor, namelijk Google Search Console. Hier vind je de activiteiten van de Googlebot van de afgelopen 90 dagen, hoe vaak Google op jouw website komt en hoelang het duurt voordat de volgende crawlsessie plaatsvindt. In de instellingen van de tool klik je op ´´rapport openen´´ onder het kopje ´´crawlen´´.
Je vindt hier drie waardes:
Wat betreft het aantal crawlsessies geldt uiteraard: hoe hoger dit aantal, hoe beter.
De andere twee waardes zijn idealiter zo laag mogelijk. Dit is ten eerste voor je bezoeker. Ga maar na: wanneer het lang duurt voordat een bestand is gedownload of voordat een pagina is geladen, raak je geïrriteerd. Je wil dus voorkomen dat dit lang duurt. Dit geldt niet alleen voor bezoekers, ook voor Google wil je deze waardes laag houden. Wanneer het tijd kost om een pagina te laden of een bestand te downloaden, raakt het crawl budget van Google sneller op. Dit is kostbare tijd die beter aan andere pagina’s kan worden besteed.
Je hebt geen directe invloed op het crawl budget van jouw website. Gelukkig zijn er trucjes genoeg om de Googlebot te overtuigen om langer op je website te blijven en meer pagina’s te crawlen.
Omdat Google graag nieuwe content ziet, is het aan te raden om regelmatig nieuwe pagina’s te uploaden. Met tekst, afbeeldingen, video´s of downloadbare bestanden.
Wanneer je je bestaande content regelmatig een update geeft, zal dat leiden tot een toename in tijd, oftewel crawl budget, die Google op jouw website doorbrengt. De bot vindt jouw website namelijk up-to-date en dus relevant genoeg om verder te lezen.
Zorg ervoor dat deze sitemap goed leesbaar is voor Google. Met een kwalitatief goede sitemap verliest de Googlebot geen kostbare tijd tijdens het crawlen van jouw website.
Synchroniseer de sitemap overigens ook in Google Search Console.
Verder wordt het crawl budget beïnvloed door het linkprofiel van de website. Dit zijn zowel interne als externe links. Met een interne link stuur je de Googlebot als het ware door naar de volgende relevante pagina. Wanneer je bijvoorbeeld een webshop hebt waar je meubels verkoopt, wil je dat alle categorieën worden gecrawld. Plaats daarom op de pagina over ‘’tafels’’ een stuk tekst met daarin een link naar de pagina met ‘’eetkamertafels’’. De Googlebot leest eerst de tekst over tafels en komt dan via de link terecht bij de tekst over eetkamertafels. Zo worden beide pagina’s gecrawld.
Wat betreft een externe link: een goed extern linkbuildingprofiel is om meerdere redenen belangrijk. Hoe meer linkjes je op andere websites laat plaatsen die naar jouw website linken, hoe groter de relevantie en autoriteit van jouw website wordt. En hoe hoger de relevantie, hoe hoger het crawl budget.
Sommige pagina’s zijn niet relevant en wil je daarom niet laten crawlen.
Denk bijvoorbeeld aan het beheerdersgedeeltes van je website, de /wp-admin/ pagina wanneer je een WordPress-site hebt. Of een bedankpagina waar bezoekers naartoe worden gestuurd wanneer ze een aankoop hebben gedaan. Het heeft geen enkele zin om deze pagina’s te crawlen.
