Voor goede SEO is het crawlen en indexeren van je website enorm van belang. Toch is het verschil tussen crawlen en indexeren niet voor iedereen duidelijk. Lees daarom onze uitleg met tips hoe je moet jouw website laat crawlen en indexeren.
Een andere term van crawlen is spidering. Crawlen is een zoekmachine proces waarbij Google, of een andere zoekmachine, de codes en de inhoud van een website leest. Dit zijn zowel de voor jou zichtbare elementen (een tussenkopje) als de onzichtbare elementen (een meta tag).
Google crawlt je website met behulp van de eigen bots. Google heeft twee varianten wat betreft bots. Eentje voor mobiel en eentje voor desktop. Doordat de meeste mensen via mobiel googelen is deze variant het belangrijkste.
Google heeft wel een crawl budget. Dat wil zeggen dat Google een bepaald ‘’budget’’ heeft om je site te crawlen. Google zal dit bedrag nooit overschrijden. Met andere woorden, wanneer je heel veel pagina’s wil laten crawlen zal Google dat niet doen. Het crawl budget is tenslotte op. De belangrijke pagina’s zullen mogelijk niet worden gecrawld. In principe is dit niet te voorkomen. Wat je wel kan doen, is aangeven welke pagina’s belangrijk zijn en welke dus gecrawld moeten worden. Ook heb je de mogelijkheid om aan te geven welke pagina’s niet gecrawld hoeven te worden. Zo stuur je Google naar de juiste pagina’s.
Wanneer jij je website live zet, komen de Googlebots voorbij om je website te lezen. Zeker in de eerste periode zal dit vaak gebeuren. Naarmate de tijd vordert zal dit wel minder worden, dat is iets wat je niet wil. Maar hoe voorkom je dat de Googlebots jouw website overslaan? Daar zijn een aantal trucjes voor:
Indexeren houdt in dat Google de pagina’s van je website aan de zoekresultaten toevoegt. Met andere woorden: crawlen is stap één, indexeren is stap twee. Google heeft een enorme database, ook wel bekend als een index. Wanneer Google een pagina indexeert, wordt er een vermelding van gemaakt. Deze vermeldingen worden toegevoegd aan de zoekresultaten. Vanaf het moment van indexeren kan jouw pagina dus worden weergegeven in de zoekresultaten.
Je kent dus nu het verschil tussen crawlen en indexeren. Crawlen is kenbaar maken van een pagina aan Google, terwijl indexeren het vindbaar maken van een pagina is.
Googlebots kunnen 24/7 je website crawlen, maar niet alle pagina’s zullen tijdens deze crawlsessie worden geïndexeerd. Pagina’s die niet in de index van Google zijn opgenomen zullen niet in de zoekresultaten verschijnen.
Je bent dus niet vindbaar. Het is overigens niet noodzakelijk om op álle pagina’s vindbaar te zijn. Jouw algemene voorwaarden of privacyverklaring hoeven bijvoorbeeld niet vindbaar te zijn. Maar jouw pagina´s over diensten en producten natuurlijk wel.
In sommige gevallen heb je dubbele content op meerdere pagina’s staan. Met andere woorden, content wat op twee verschillende pagina’s staat. Wanneer beide pagina’s worden geïndexeerd, zullen ze beide slecht vindbaar zijn omdat Google dubbele content als iets negatiefs ervaart. Je komt met dubbele content dus niet op positie 1 en 2 in de zoekresultaten te staan. Dat denken veel ondernemers. Maar het tegendeel is juist waar. Want jouw pagina´s strijden tegen elkaar om één positie in de zoekresultaten. En brengen samen Google in de war. Waardoor je niet op positie 1 of 2, maar misschien op 14 komt te staan. Dat wil je natuurlijk voorkomen.
Samengevat: wil je gevonden worden op Google, dan is het belangrijk om te zorgen dat de juiste pagina’s gecrawld én geïndexeerd worden.
Het crawlen is slechts een deel van het proces. Je website wordt nu alleen maar gelezen.
Pas wanneer je website wordt geïndexeerd is deze vindbaar in Google.
Zonder crawlen en indexeren ben je dus nergens en zijn al je werkzaamheden zonde van je tijd.