Wat is Robots.txt en hoe stel je het in?
Wil je de zichtbaarheid van je website verbeteren en zorgen dat zoekmachines zoals Google efficiënt door je pagina’s navigeren? Dan is het belangrijk om een goed ingesteld robots.txt-bestand te hebben. Dit kleine tekstbestand helpt je om onbelangrijke of gevoelige pagina’s buiten de zoekresultaten te houden en ervoor te zorgen dat zoekmachines zich focussen op de content die er echt toe doet. In dit blog leggen we je alles uit over het robots.txt bestand: wat het is, waarom het belangrijk is, hoe het werkt en hoe je het correct instelt.
Na het lezen van dit artikel weet jij:
Wat Robots.txt is
Hoe je Robots.txt instelt
Hoe je veelgemaakte fouten voorkomt
Wat is Robots.txt?
Robots.txt is een tekstbestand dat richtlijnen bevat voor zoekmachines zoals Google over welke pagina's van een website wel of niet gecrawld mogen worden. De naam "robots.txt" verraadt al dat het gaat om een .txt-bestand. Dit bestand helpt zoekmachines efficiënter te werk te gaan door onnodige of niet-relevante pagina's uit te sluiten van indexering.
Zonder een robots.txt-bestand zal Google standaard alle pagina's van je website crawlen. Dit leidt tot verspilling van je crawl budget en kan een negatieve invloed hebben op je SEO-strategie. Een goed geconfigureerde robots.txt helpt om dit te voorkomen.
Waarom is Robots.txt belangrijk?
- Efficiënter crawlen: Je voorkomt dat zoekmachines tijd verspillen aan onbelangrijke pagina's.
- SEO-optimalisatie: Doordat belangrijke pagina's sneller worden gecrawld en geïndexeerd, verbetert dit indirect je ranking.
- Crawl budget besparen: Zoekmachines hebben een beperkt budget om websites te crawlen. Robots.txt helpt dit budget optimaal te benutten.
- Privacy en veiligheid: Je kunt bepaalde pagina's, zoals admin-omgevingen of betaalpagina's, afschermen van zoekmachines.
- Betere controle over zoekmachine verkeer: Door te bepalen welke pagina’s toegankelijk zijn voor zoekmachines, zorg je voor een betere structuur van je website in de zoekresultaten.
- Voorkomen van duplicate content: Door zoekmachines juist te sturen, kan je onnodige of dubbele pagina’s uitsluiten en voorkomen dat Google dezelfde content meerdere keren indexeert.
Hoe werkt Robots.txt?
Zoekmachines raadplegen het robots.txt-bestand voordat ze een website crawlen. In dit bestand kunnen instructies staan zoals:
- Disallow: Hiermee geef je aan welke pagina's niet gecrawld mogen worden.
- Allow: Dit wordt gebruikt om uitzonderingen te maken op een disallow-regel.
- Sitemap: Je kunt je sitemap in robots.txt opnemen om zoekmachines te helpen de belangrijkste pagina's te vinden.
Een voorbeeld van een eenvoudig robots.txt-bestand:
De opbouw van Robots.txt
Een robots.txt file is altijd te vinden op het hoofdniveau van je domein: https://www.jouwwebsite.nl/robots.txt. De belangrijkste onderdelen zijn:
- User-agent: Geeft aan voor welke zoekmachines de regels gelden (* betekent alle bots).
- Disallow: Hier geef je aan welke pagina's of directories niet gecrawld mogen worden.
- Allow: Voor uitzonderingen binnen een geblokkeerde directory.
- Sitemap: Verwijzing naar je XML-sitemap voor betere indexatie.
- Crawl-delay: Hiermee kun je instellen hoeveel tijd er tussen crawl-acties zit, wat handig is voor servers met beperkte middelen.
- Host (optioneel): Voor internationale websites kan hiermee de voorkeur domeinnaam worden aangegeven.
Wat blokkeer je wel en wat niet in je Robots.txt-bestand?
Bij zoekmachineoptimalisatie (SEO) is het belangrijk om te bepalen welke delen van je website wel of niet toegankelijk zijn voor zoekmachines. Sommige pagina’s en bestanden wil je juist blokkeren om duplicatie, privacy problemen of onnodige indexering te voorkomen. Andere elementen moeten juist wel weer zichtbaar blijven om de functionaliteit en vindbaarheid van je website te optimaliseren.
Let op: het blokkeren van een pagina in je robots.txt file betekent niet dat zoekmachines deze niet kunnen vinden of indexeren. Robots.txt is een verzoek aan zoekmachines om bepaalde delen van je site niet te crawlen, maar biedt geen garantie op uitsluiting. Als je een pagina echt wilt verbergen, gebruik dan een noindex-meta tag of beperk de toegang via serverinstellingen, zoals wachtwoordbeveiliging.
Wat je kunt blokkeren:
- Admin-omgevingen (/wp-admin/ of /admin/)
- Betaalpagina’s (/checkout/ of /order-confirmation/)
- Interne zoekresultaten (/search/ of /?s=)
- Dubbele of tijdelijke pagina’s
- Private bestanden zoals PDF’s of downloads die niet publiek toegankelijk moeten zijn
- Test- en staging-omgevingen
Wat je niet moet blokkeren:
- Pagina’s die belangrijk zijn voor SEO
- Afbeeldingen of scripts als deze essentieel zijn voor de indexering
- De sitemap zelf
- CSS en JavaScript-bestanden, tenzij strikt noodzakelijk, omdat zoekmachines deze nodig hebben om je site correct weer te geven
Hoe stel je Robots.txt in?
Voor WordPress-gebruikers
Bij WordPress wordt een robots.txt-bestand automatisch gegenereerd. Wil je deze aanpassen? Dat kan via de Yoast SEO-plugin:
- Ga naar Yoast SEO > Hulpmiddelen
- Klik op "Bestandsbewerker"
- Bewerk en sla het robots.txt-bestand op
Voor andere CMS
Gebruik je een ander CMS zoals Magento, Shopify of Lightspeed? Dan kun je via de instellingen of via FTP een robots.txt-bestand toevoegen en aanpassen. IT-specialisten kunnen hierbij helpen.
Wil je controleren of je website een robots.txt-bestand heeft? Typ in je browser https://www.jouwwebsite.nl/robots.txt
Veelgemaakte fouten bij Robots.txt
Hulp nodig bij robots.txt of andere SEO-zaken?
IQ Leads staat voor je klaar! Of je nu hulp nodig hebt bij het instellen van je robots.txt file of advies wilt over andere SEO-onderdelen, ons team helpt je graag verder om je website te optimaliseren en beter zichtbaar te maken in zoekmachines. Neem contact met ons op en laat ons je SEO-doelen bereiken!