Robots.txt – предохраняйтесь
Все поисковые роботы (Яндекс, Гугл, др.) при заходе на сайт в первую очередь ищут файл robots.txt. Он указывает какую информацию следует индексировать, а какую нет.Такие инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, например, личные данных пользователей интернет-магазинов.
В целом, наличие файла robots.txt в структуре сайта не обязательно, но его отсутствие воспринимается [...]



