robots.txt

Een robots.txt-bestand is een bestand waarin je aangeeft welke delen van je website niet toegankelijk zijn voor zoekmachines. Het bestand gebruikt de Robots Exclusion Standard. Dit is een protocol met een klein aantal opdrachten waarmee u de toegang tot uw site kunt aangeven per sectie en per specifiek soort webcrawlers (zoals mobiele crawlers versus desktopcrawlers).

Voor een volledige uitleg van hoe en waarvoor je een robots.txt-bestand kunt gebruiken, lees de uitleg van Google hierover.