SEO

Alles over robots.txt en hoe je het instelt

Ontdek wat robots.txt is, waarom het belangrijk is en hoe je het correct instelt om zoekmachines efficiënt door je website te laten navigeren.

Mike · bijgewerkt 18 maart 6 min lezen

Wil je de zichtbaarheid van je website verbeteren en zorgen dat zoekmachines zoals Google efficiënt door je pagina’s navigeren? Dan is het belangrijk om een goed ingesteld robots.txt-bestand te hebben. Dit kleine tekstbestand helpt je om onbelangrijke of gevoelige pagina’s buiten de zoekresultaten te houden en ervoor te zorgen dat zoekmachines zich focussen op de content die er echt toe doet. In dit blog leggen we je alles uit over het robots.txt bestand: wat het is, waarom het belangrijk is, hoe het werkt en hoe je het correct instelt.

Na het lezen van dit artikel weet je

  • Wat Robots.txt is
  • Hoe je Robots.txt instelt
  • Hoe je veelgemaakte fouten voorkomt

Wat is Robots.txt?

Robots.txt is een tekstbestand dat richtlijnen bevat voor zoekmachines zoals Google over welke pagina’s van een website wel of niet gecrawld mogen worden. De naam “robots.txt” verraadt al dat het gaat om een .txt-bestand. Dit bestand helpt zoekmachines efficiënter te werk te gaan door onnodige of niet-relevante pagina’s uit te sluiten van indexering.

Zonder een robots.txt-bestand zal Google standaard alle pagina’s van je website crawlen. Dit leidt tot verspilling van je crawl budget en kan een negatieve invloed hebben op je SEO-strategie. Een goed geconfigureerde robots.txt helpt om dit te voorkomen.

Waarom is Robots.txt belangrijk?

  • Efficiënter crawlen: Je voorkomt dat zoekmachines tijd verspillen aan onbelangrijke pagina’s.
  • SEO-optimalisatie: Doordat belangrijke pagina’s sneller worden gecrawld en geïndexeerd, verbetert dit indirect je ranking.
  • Crawl budget besparen: Zoekmachines hebben een beperkt budget om websites te crawlen. Robots.txt helpt dit budget optimaal te benutten.
  • Privacy en veiligheid: Je kunt bepaalde pagina’s, zoals admin-omgevingen of betaalpagina’s, afschermen van zoekmachines.
  • Betere controle over zoekmachine verkeer: Door te bepalen welke pagina’s toegankelijk zijn voor zoekmachines, zorg je voor een betere structuur van je website in de zoekresultaten.
  • Voorkomen van duplicate content: Door zoekmachines juist te sturen, kan je onnodige of dubbele pagina’s uitsluiten en voorkomen dat Google dezelfde content meerdere keren indexeert.

Hoe werkt Robots.txt?

Zoekmachines raadplegen het robots.txt-bestand voordat ze een website crawlen. In dit bestand kunnen instructies staan zoals:

  • Disallow: Hiermee geef je aan welke pagina’s niet gecrawld mogen worden.
  • Allow: Dit wordt gebruikt om uitzonderingen te maken op een disallow-regel.
  • Sitemap: Je kunt je sitemap in robots.txt opnemen om zoekmachines te helpen de belangrijkste pagina’s te vinden.

Een voorbeeld van een eenvoudig robots.txt-bestand:

De opbouw van Robots.txt

Een robots.txt file is altijd te vinden op het hoofdniveau van je domein: https://www.jouwwebsite.nl/robots.txt. De belangrijkste onderdelen zijn:

  • User-agent: Geeft aan voor welke zoekmachines de regels gelden (* betekent alle bots).
  • Disallow: Hier geef je aan welke pagina’s of directories niet gecrawld mogen worden.
  • Allow: Voor uitzonderingen binnen een geblokkeerde directory.
  • Sitemap: Verwijzing naar je XML-sitemap voor betere indexatie.
  • Crawl-delay: Hiermee kun je instellen hoeveel tijd er tussen crawl-acties zit, wat handig is voor servers met beperkte middelen.
  • Host (optioneel): Voor internationale websites kan hiermee de voorkeur domeinnaam worden aangegeven.

Wat blokkeer je wel en wat niet in je Robots.txt-bestand?

Bij zoekmachineoptimalisatie (SEO) is het belangrijk om te bepalen welke delen van je website wel of niet toegankelijk zijn voor zoekmachines. Sommige pagina’s en bestanden wil je juist blokkeren om duplicatie, privacy problemen of onnodige indexering te voorkomen. Andere elementen moeten juist wel weer zichtbaar blijven om de functionaliteit en vindbaarheid van je website te optimaliseren.

Let op: het blokkeren van een pagina in je robots.txt file betekent niet dat zoekmachines deze niet kunnen vinden of indexeren. Robots.txt is een verzoek aan zoekmachines om bepaalde delen van je site niet te crawlen, maar biedt geen garantie op uitsluiting. Als je een pagina echt wilt verbergen, gebruik dan een noindex-meta tag of beperk de toegang via serverinstellingen, zoals wachtwoordbeveiliging.

Wat je kunt blokkeren:

  • Admin-omgevingen (/wp-admin/ of /admin/)
  • Betaalpagina’s (/checkout/ of /order-confirmation/)
  • Interne zoekresultaten (/search/ of /?s=)
  • Dubbele of tijdelijke pagina’s
  • Private bestanden zoals PDF’s of downloads die niet publiek toegankelijk moeten zijn
  • Test- en staging-omgevingen

Wat je niet moet blokkeren:

  • Pagina’s die belangrijk zijn voor SEO
  • Afbeeldingen of scripts als deze essentieel zijn voor de indexering
  • De sitemap zelf
  • CSS en JavaScript-bestanden, tenzij strikt noodzakelijk, omdat zoekmachines deze nodig hebben om je site correct weer te geven

Hoe stel je Robots.txt in?

Voor WordPress-gebruikers

Bij WordPress wordt een robots.txt-bestand automatisch gegenereerd. Wil je deze aanpassen? Dat kan via de Yoast SEO-plugin:

  • Ga naar Yoast SEO > Hulpmiddelen
  • Klik op “Bestandsbewerker”
  • Bewerk en sla het robots.txt-bestand op

Voor andere CMS

Gebruik je een ander CMS zoals Magento, Shopify of Lightspeed? Dan kun je via de instellingen of via FTP een robots.txt-bestand toevoegen en aanpassen. IT-specialisten kunnen hierbij helpen.

Wil je controleren of je website een robots.txt-bestand heeft? Typ in je browser https://www.jouwwebsite.nl/robots.txt

Veelgemaakte fouten bij Robots.txt

Belangrijke pagina’s per ongeluk blokkeren

Controleer altijd goed of je geen SEO-waardevolle pagina’s uitsluit.

Geen sitemap opnemen

Vermeld je sitemap in robots.txt zodat de zoekmachines deze sneller kunnen vinden.

Foute syntax

Een verkeerd geconfigureerd bestand kan ervoor zorgen dat zoekmachines de verkeerde pagina’s crawlen of zelfs je hele site blokkeren.

Blokkeren van CSS of JavaScript

Dit kan ervoor zorgen dat zoekmachines je website niet goed kunnen bekijken en begrijpen. Hierdoor kan je pagina er anders uitzien in de zoekresultaten of slechter worden geïndexeerd.

Gebruiken om pagina’s geheim te houden

Het Robots.txt-bestand voorkomt niet dat pagina’s toegankelijk zijn via directe links of andere verwijzingen.

Niet testen na wijzigingen

Controleer altijd of je robots.txt-bestand nog steeds goed functioneert na wijzigingen.

Meest gestelde vragen over Robots.txt

Waarom is een robots.txt-bestand belangrijk?

Een robots.txt-bestand geeft richtlijnen aan zoekmachines over welke delen van je website ze mogen doorzoeken. Het is een verzoek en geen blokkade, maar het helpt wel om zoekmachines te sturen en je site efficiënter te laten indexeren.

Door bepaalde pagina’s niet te laten crawlen, kun je zoekmachines focussen op de belangrijkste content. Dit zorgt ervoor dat je crawlbudget optimaal wordt benut en voorkomt dat onbelangrijke of dubbele inhoud je SEO negatief beïnvloedt.

Moet elke website een robots.txt-bestand hebben?

Nee, maar het wordt sterk aanbevolen voor meer controle over crawlers.

Kan ik specifieke zoekmachines uitsluiten?

Ja, je kunt regels instellen voor specifieke user-agents. Dit doe je door de naam van de zoekmachine in je robots.txt-bestand te zetten, gevolgd door de regels die je wilt toepassen.

Om bijvoorbeeld alleen Googlebot te blokkeren voor een specifieke map, gebruik je:

User-agent: Googlebot

Disallow: /privemap/

Wat gebeurt er als ik een fout maak in mijn robots.txt-bestand?

Dit kan leiden tot ongewilde blokkeringen van belangrijke pagina’s, wat je SEO negatief beïnvloedt.

Bij IQ Leads
Werkt graag aan
Buiten werk
Plan een gesprek →