Robots.txt. Что это и для чего?
Файл robots.txt — это простой текстовый файл, который используется для управления доступом веб-роботов (или "пауков") к различным частям веб-сайта. Его история начинается в начале 1990-х годов, когда интернет только начинал развиваться, и веб-сайты начали появляться в большом количестве.