Создание или настройка robots.txt и sitemap.xml
Гарантия возврата денег, если товар не подойдёт
Описание
Robots.txt — это текстовый файл, предназначенный для ограничения доступа поисковых роботов к разделам и страницам сайта, которые нужно исключить из обхода и результатов выдачи.
Зачем нужен файл robots.txt
Файл Sitemap выполняет роль карты сайта. После загрузки файла robots.txt поисковый бот загружает карту сайта, если таковая имеется.
Карта сайта XML позволяет роботу найти все необходимые страницы для последующей индексации. Файл Sitemap имеет расширение XML и представляет собой документ, который содержит дерево XML-тегов.