Robots.txt generator
Maak snel een eenvoudige robots.txt voor een website. Hiermee geef je zoekmachines aanwijzingen over wat ze wel en niet mogen crawlen.
Robots.txt is een verzoek aan zoekmachines, geen beveiliging. Zet gevoelige informatie dus nooit alleen achter robots.txt.
Waar plaats je dit?
Plaats het bestand als /robots.txt in de hoofdmap van je website, bijvoorbeeld https://www.rovers.nl/robots.txt.