Файл robots.txt

Robots.txt - типовой файл HTTP-сервера, запрашиваемый всеми ботами популярных поисковиков, представляет несколько простых инструкций описывающих желательные владельцем сайта правила скачивания документов и анализа URL.