KENNISBANK

Wat is Robots txt?

Robots.txt is een bestand in de hoofdmap van je website. Zoekmachine crawler (robots) gebruiken het om erachter te komen welke onderdelen van je website ze mogen doorzoeken. 

 

Hier is een voorbeeld van een robots-bestand:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: http://www.social.relevance.online/sitemap.xml

 

Je kan altijd zelf kijken of er een robots.txt op je website aanwezig is door je eigen website in te toetsen in de zoek bar en er /robots.txt achter te zetten. Ook kan je in Google Search Console testen of de juiste instructies wordt gegeven net de robots. Dit is belangrijk want het verkeerd gebruiken van de robots.txt kan ervoor zorgen dat je lager in de zoekmachine staat. 

 

Waarom?

Door het robots bestand weten de zoekmachine robots, welke onderdelen van je website ze wel en niet mogen onderzoeken. Je kan hierdoor bijvoorbeeld de beheerdersomgeving uitsluiten. 

 

Hoe werkt robots.txt?

Je kan het robots.txt bestand inrichten door met de juiste instructies volgens de  Robots Exclusion Standard. Met de volgende instructie, weten de robots dat ze de gehele site mogen doorzoeken. 

User-agent: *

Allow: /

 

Met ‘’User-Agent’’ geven we aan dat alle robots de hele site vanaf de root, aangeven met  “Allow: /”, mogen crawlen. Daarnaast verwijzen we ook naar de sitemaps door “Sitemap:” Daardoor zijn onze sitemaps een stuk makkelijker vindbaar voor de zoekmachine. 

 

Er zijn drie misvattingen wanneer mensen met het robots bestand aan de gang gaan:

  • Iedereen kan bij jouw robots bestand. Zorg er dus voor dat geen persoonlijke of geheime informatie opstaat. 
  • Het is niet verplicht om het te gebruiken. Je kan het gebruiken als het een voordelig effect heeft. Maar ga er alsjeblieft niet mee aan de gang als je er geen verstand van hebt. 
  • Externe links. Wanneer andere websites naar delen van je website verwijzen die je met robots hebt uitgesloten.

Spreek een digitaal strateeg

Spar met een ervaren digitaal strateeg

Download gratis het Thought Leader e-book

De #1 in jouw markt!  Wie wil dat nou niet? Lees ons boek over thought leadership en leer hoe je zelf de nummer 1 in jouw markt wordt.

Laat jouw e-mail achter en ontvang ons gratis e-book in jouw mailbox!

Beschikbaar tot het einde van de radio campagne op Sublime

Ontvang het Thought Leader e-book direct in je e-mail

Stel jouw vraag
Vraag het onze digitaal strateeg
Vragen kan altijd. Stel je vraag direct aan onze ervaren digitale strateeg Nico van der Zaan (15+ jaar ervaring)