Robots.txt — файл, регулирующий допуск или, наоборот, запрет на посещение определенных разделов сайта, веб-страниц или всего сайта в целом поисковыми роботами для последующего отображения или скрытия страниц/разделов сайта в поисковой выдаче.
Связанные термины: Поисковый робот (веб-паук, веб-краулер, бот) Веб-страница (web page) Веб-сайт (сайт, website, site) Поисковая выдача (SERP)
Материалы позаимствованы с сайта "Википедия" или других открытых источников информации.