Bezoekers biedt je het liefst alleen maar waardevolle informatie. Toch gaat dat soms niet altijd. Gelukkig is daar robots.txt. Huh wat? Robots.txt? Geen paniek, we leggen met alle plezier uit wat dit precies inhoudt, wat je eraan hebt en hoe je het instelt. En dat doen we in dit blog. Lees dus vooral verder!
Laten we beginnen met de betekenis van robots.txt. De ‘’.txt’’ verraadt dat het gaat om een stukje tekst. Om precies te zijn is het een tekstbestand met als het ware richtlijnen.
Dit bestand zorgt ervoor dat jouw website zo efficiënt mogelijk wordt gecrawld. Tijdens het proces van crawlen en indexeren geeft een robots.txt bestand aan Google door dat een bepaalde pagina niet gecrawld moet worden.
Aangezien Google zonder een robots.txt bestand alle pagina’s gaat crawlen, kost dat spreekwoordelijk geld, maar daar zo direct meer over.
Een goed ingesteld robots.txt heeft een aantal voordelen. Zoals je net al las, geeft robots.txt aan Google aan welke pagina’s niet gecrawld mogen worden. Wanneer je bijvoorbeeld een webshop hebt en klanten hebben een aankoop gedaan, dan komen ze op de “bedankpagina” terecht. Het is voor jou totaal niet relevant om op die pagina gevonden te worden. Bovendien, via de bedankpagina wordt gemeten hoeveel mensen een aankoop hebben gedaan. Wanneer mensen zonder een aankoop op deze pagina terechtkomen, dan heb je een probleem. Je krijgt positieve meldingen, terwijl er in werkelijkheid niks is gebeurd. In je robots.txt-bestand geef je dus aan dat deze pagina niet gecrawld mag worden. Maar dit is niet het enige voordeel.
Het goed instellen van een robots.txt bestand scheelt je crawl budget. Dit budget gaat niet om keiharde knaken, maar om virtueel geld. Tijdens het crawlen en indexeren heeft Google een budget dat het gebruikt om jouw website te crawlen. Wanneer dit budget op is, stopt het crawlen. Het is voor Google totaal niet relevant of de belangrijkste pagina’s zijn gecrawld. Voor jou is dat uiteraard wel relevant. Hier komt robots.txt om de hoek kijken. Als je namelijk een robot bestand hebt ingesteld, kijk Google hier tijdens het crawlen als eerste naar. De pagina’s waarvan jij hebt aangegeven dat ze niet interessant zijn, worden dan overgeslagen. Google heeft dan daardoor tijd om de belangrijke pagina’s wél mee te nemen.
Wanneer je robots.txt goed gebruikt, is dat goed voor je SEO. Het tekstbestandje is weliswaar niet direct verantwoordelijk voor een goede ranking. Maar doordat je Google sneller naar de juiste pagina’s stuurt, worden deze sneller gecrawld, geïndexeerd en daarna door mensen gevonden. Uiteraard is het ook belangrijk om een goed stukje content te schrijven en aan linkbuilding te doen, maar met robots.txt help je Google een handje om het crawl budget aan de belangrijkste pagina´s te besteden.
Extra tip: stuur Google naar je sitemap. Via de sitemap komt Google nog makkelijker bij de belangrijke pagina’s. Dit kan zowel via robots.txt zelf, als via Google Search Console.
Dan nu de vraag: hoe stel je een robots.txt-bestand in? Dat hangt er een beetje vanaf welk CMS je gebruikt. Heb je WordPress, dan gebeurt het in principe vanzelf. Toch is deze versie waarschijnlijk vrij basic. Om het bestand te kunnen bewerken, kan je via de plugin YOAST de robots.txt bewerken. Je geeft aan welke pagina’s een zogeheten ‘’disallow’’ krijgen. Met andere woorden: deze pagina’s mogen niet worden gecrawld. Heb je een ander CMS, zoals Lightspeed? Vraag dan jouw IT´er om hulp. Of beter nog, contacteer IQ Leads.
Of jouw website een robots.txt heeft is heel makkelijk te controleren. Het enige wat je hoeft te doen is ‘’/robots.txt’’ aan het einde van je domeinnaam te plaatsen. Bijvoorbeeld https://www.iq-leads.nl/robots.txt.