Voor goede SEO is het crawlen en indexeren van je website enorm van belang. Toch is het verschil tussen crawlen en indexeren niet voor iedereen duidelijk. Lees daarom onze uitleg met tips hoe je moet jouw website laat crawlen en indexeren.
Wat is het verschil tussen crawlen en indexeren?
De definitie van crawlen
Een andere term van crawlen is spidering. Crawlen is een zoekmachine proces waarbij Google, of een andere zoekmachine, de codes en de inhoud van een website leest. Dit zijn zowel de voor jou zichtbare elementen (een tussenkopje) als de onzichtbare elementen (een meta tag). Google crawlt je website met behulp van de eigen bots. Google heeft twee varianten wat betreft bots. Eentje voor mobiel en eentje voor desktop. Doordat de meeste mensen via mobiel googelen is deze variant het belangrijkste.
De definitie van indexeren
Indexeren houdt in dat Google de pagina’s van je website aan de zoekresultaten toevoegt. Met andere woorden: crawlen is stap één, indexeren is stap twee. Google heeft een enorme database, ook wel bekend als een index. Wanneer Google een pagina indexeert, wordt er een vermelding van gemaakt. Deze vermeldingen worden toegevoegd aan de zoekresultaten. Vanaf het moment van indexeren kan jouw pagina dus worden weergegeven in de zoekresultaten.
Het verschil tussen crawlen en indexeren
Je kent dus nu het verschil tussen crawlen en indexeren. Crawlen is kenbaar maken van een pagina aan Google, terwijl indexeren het vindbaar maken van een pagina is.
Google heeft wel een crawl budget. Dat wil zeggen dat Google een bepaald ‘’budget’’ heeft om je site te crawlen. Google zal dit bedrag nooit overschrijden. Met andere woorden, wanneer je heel veel pagina’s wil laten crawlen zal Google dat niet doen. Het crawl budget is tenslotte op. De belangrijke pagina’s zullen mogelijk niet worden gecrawld. In principe is dit niet te voorkomen. Wat je wel kan doen, is aangeven welke pagina’s belangrijk zijn en welke dus gecrawld moeten worden. Ook heb je de mogelijkheid om aan te geven welke pagina’s niet gecrawld hoeven te worden. Zo stuur je Google naar de juiste pagina’s.
Hoe laat je je website crawlen?
Wanneer jij je website live zet, komen de Googlebots voorbij om je website te lezen. Zeker in de eerste periode zal dit vaak gebeuren. Naarmate de tijd vordert zal dit wel minder worden, dat is iets wat je niet wil. Maar hoe voorkom je dat de Googlebots jouw website overslaan? Daar zijn een aantal trucjes voor:
- Maak een sitemap aan. Dit is een lijst met alle pagina’s op jouw website. De locatie van je sitemap vind je op Google Search Console. Meld je sitemap daar wel even aan. Je ziet hier ook of je website wordt gecrawld via de crawl stats.
- Publiceer regelmatig nieuwe pagina’s en update bestaande pagina’s.
- Werk aan je linkbuildingprofiel, in dit geval vooral interne linken.
- Kies een betrouwbare hosting service, zoals WordPress of Lightspeed.
- Gebruik een nuttige URL-structuur die de inhoud van de pagina’s duidelijk beschrijft.
- Detecteer en repareer 404 fouten. Wanneer de Googlebots een 404 vinden zijn ze minder snel geneigd om verder te crawlen.
- Maak gebruik van robots.txt. Dit is een hulpmiddel in de vorm van een bestand. Dit bestand stuurt de Googlebots als het ware naar de belangrijkste pagina’s.
De definitie van indexeren
Indexeren houdt in dat Google de pagina’s van je website aan de zoekresultaten toevoegt. Met andere woorden: crawlen is stap één, indexeren is stap twee. Google heeft een enorme database, ook wel bekend als een index. Wanneer Google een pagina indexeert, wordt er een vermelding van gemaakt. Deze vermeldingen worden toegevoegd aan de zoekresultaten. Vanaf het moment van indexeren kan jouw pagina dus worden weergegeven in de zoekresultaten.
Het verschil tussen crawlen en indexeren
Je kent dus nu het verschil tussen crawlen en indexeren. Crawlen is kenbaar maken van een pagina aan Google, terwijl indexeren het vindbaar maken van een pagina is.
Onder de loop
Is jouw SEO goed ingesteld?
Onze SEO specialisten hebben een SEO checklist gemaakt waarmee jij zelf de resultaten van jouw SEO inspanningen kunt beoordelen.
Hoe laat je je website indexeren?
Googlebots kunnen 24/7 je website crawlen, maar niet alle pagina’s zullen tijdens deze crawlsessie worden geïndexeerd. Pagina’s die niet in de index van Google zijn opgenomen zullen niet in de zoekresultaten verschijnen. Je bent dus niet vindbaar. Het is overigens niet noodzakelijk om op álle pagina’s vindbaar te zijn. Jouw algemene voorwaarden of privacyverklaring hoeven bijvoorbeeld niet vindbaar te zijn. Maar jouw pagina´s over diensten en producten natuurlijk wel.
In sommige gevallen heb je dubbele content op meerdere pagina’s staan. Met andere woorden, content wat op twee verschillende pagina’s staat. Wanneer beide pagina’s worden geïndexeerd, zullen ze beide slecht vindbaar zijn omdat Google dubbele content als iets negatiefs ervaart. Je komt met dubbele content dus niet op positie 1 en 2 in de zoekresultaten te staan. Dat denken veel ondernemers. Maar het tegendeel is juist waar. Want jouw pagina´s strijden tegen elkaar om één positie in de zoekresultaten. En brengen samen Google in de war. Waardoor je niet op positie 1 of 2, maar misschien op 14 komt te staan. Dat wil je natuurlijk voorkomen.
Trucjes om je pagina te laten indexeren:
- Vermijd dus dubbele content op indexeerbare pagina’s.
- Zorg voor een goed extern linkbuildingprofiel. Door linken van sterke website naar jouw pagina te sturen zal Google jouw website hoger ranken. Elke link van een andere relevante website wordt namelijk als aanbeveling gezien.
- Voorkom zoveel mogelijk een 301 fout, oftewel een redirect. Wanneer een pagina binnen jouw website van plaats verandert krijgt deze automatisch een andere URL. Denk bijvoorbeeld aan een e-commerce site waar je een product verplaatst naar een andere categorie. Een tafel die niet meer in de categorie ‘’tafels’’ staat, maar in de categorie ‘’eetkamertafels’’. De URL verandert van ‘’.nl/tafels’’ naar ‘’.nl/eetkamertafels’’.
Het belang van crawlen en indexeren
Samengevat: wil je gevonden worden op Google, dan is het belangrijk om te zorgen dat de juiste pagina’s gecrawld én geïndexeerd worden. Het crawlen is slechts een deel van het proces. Je website wordt nu alleen maar gelezen. Pas wanneer je website wordt geïndexeerd is deze vindbaar in Google. Zonder crawlen en indexeren ben je dus nergens en zijn al je werkzaamheden zonde van je tijd.