Настройка файла robots.txt
Гарантия возврата денег, если товар не подойдёт
Описание
Файл robots. txt нужен, что задать рекомендации поисковым роботам: какие страницы или файлы на вашем сайте можно обрабатывать, а какие нельзя. Также в robots. txt содержится ссылка на Sitemap. xml
Настройка robots. txt: