Robots.txt is een simpel tekstbestand dat je in de hoofdmap van je website plaatst. Met robots.txt kun je als website eigenaar bepalen welke delen van de website toegankelijk zijn voor de spiders van zoekmachines. Je kunt zo bepalen welke delen van de website wel en niet in de zoekresultaten van de zoekmachines opgenomen worden.
Inhoudsopgave
Waarom gebruik maken van een robots.txt bestand?
Standaard staat je website open voor de spiders van zoekmachines en worden alle pagina’s en andere onderdelen van de website in de zoekresultaten opgenomen. Maar dit is niet altijd gewenst. Bijvoorbeeld delen van de website die niet voor het publiek toegankelijk moeten zijn, hoeven niet in de zoekresultaten voor te komen. Deze delen kun je afschermen met een robots.txt bestand. Voor zoekmachine optimalisatie is dit bestand belangrijk omdat je er mee kunt voorkomen dat je bijvoorbeeld pagina’s ten onrechte laat indexeren.
Wat kun je instellen in het robots.txt bestand?
Er zijn verschillende zaken die je via robots.txt kunt regelen:
- Aangeven van welke sitemap je gebruik maakt.
- Aangeven dat spiders van zoekmachines bepaalde onderdelen niet mogen bezoeken.
- Aangeven dat bepaalde spiders bepaalde onderdelen van de website niet mogen bezoeken.
Let wel op met het bestand. Fouten snel gemaakt en dat kan grote gevolgen hebben voor je website. Je kunt bijvoorbeeld de hele website blokkeren waardoor deze niet meer te vinden is in Google. Om dit te voorkomen kun je je robots.txt bestand eerst testen.
Robots.txt bestand testen
Om fouten te voorkomen, kun je het robots.txt bestand eerst testen. Dit kan met behulp van Google Search Console.
Log in op Google Search Console en kies in het linkermenu voor Crawlen > Robots.txt tester
Hier kun je het bestand testen op fouten. Je kunt ook voor specifieke spiders testen.
Robots.txt voorbeelden
Enkele voorbeelden die je in je robots.txt kunt opnemen.
Sitemap toevoegen:
User-agent: *
sitemap: https://www.voorbeeldwebsite.nl/sitemap.xml
WordPress dashboard blokkeren voor alle spiders:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
WordPress dashboard blokkeren voor Google:
User-agent: Googlebot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
