Robots.txt checker
Controleer of robots.txt bereikbaar is, welke regels erin staan en of een specifiek pad wordt geblokkeerd.
Robots.txt is een verzoek aan zoekmachines, geen beveiliging. Gevoelige informatie hoort dus niet alleen achter een robots.txt-blokkade te staan.