Robots.txt is een tekstbestand dat op de root van een website wordt geplaatst om zoekmachines en andere webrobots (zoals crawlers) te instrueren welke delen van de website ze mogen crawlen en indexeren.