Создам корректный robots.txt.
Гарантия возврата денег, если товар не подойдёт
Описание
Robots. txt - важный элемент на вашем сайте, и его отсутствие или неправильная настройка могут негативно сказаться на продвижении сайта. При заказе создания Robots. txt у меня вы можете быть уверены, что этот файл будет создан специально для вашего сайта в соответствии со всеми требованиями поисковых систем.
Файл Sitemap. xml позволяет информировать поисковые системы о структуре контента на вашем сайте. Поисковые роботы, такие как Googlebot, используют этот файл для более точного индексирования страниц вашего сайта.
Важно! Чтобы создать Sitemap, ваш сайт должен быть доступным для сканирования роботами, и на нем не должно быть заглушек, которые требуют взаимодействия (например, "Вам должно быть 18 лет", "Требуется авторизация" и т. д.). Кроме того, сайт не должен блокировать доступ после множества запросов.
В результате вы получите файлы Robots. txt и Sitemap. xml, которые нужно будет загрузить в корневую директорию вашего сайта. Если для загрузки этих файлов на сайт мне потребуется доступ через FTP, необходимо оформить соответствующую дополнительную опцию и предоставить доступ к сайту (в некоторых случаях доступ к административной панели сайта).
Адрес сайта, страницы которые нужно запретить к индексации (если нужно). Обратите внимание что sitemap. xml за один кейс создается для не более 20000 страниц сайта. Каждые 1000 страниц это дополнительная опция.
При оформлении дополнительной опции "Загрузить файлы на сайт" нужно предоставить доступ по FTP к сайту (В некоторых случаях доступ в админку сайта)