Robots.txt и sitemap.xml - создание и настройка
Гарантия возврата денег, если товар не подойдёт
Описание
Настрою 2 очень важных файла для каждого сайта на любой CMS - robots.txt и sitemap.xml
robots.txt - директива, в которой указаны правила индексации сайта для разных поисковых роботов (какие разделы и страницы индексировать, а какие нет);
sitemap.xml - карта сайта, в которой собраны и структурированы ссылки на все имеющиеся html-страницы сайта, чтобы поисковым роботам было легче понимать его структуру и сканировать сайт.
По robots.txt:
Укажу правило User-agent для всех важных поисковых роботов (Yandex, Google, общее правило и др)
Уберу нерабочий параметр Host
Пропишу путь к карте сайта
Закрою JS-скрипты и CSS-стили для Яндекс
Закрою все 404 ошибки и битые страницы
Проверю всё на валидность
По sitemap.xml:
Настрою правильную карту сайта только с нужными страницами
Проверю на валидность
Работаю со всеми CMS
Для работы мне нужна ссылка на сайт, доступ к FTP и админке сайта.
Если есть нестандартные пожелание к заказу - пишите до того, как оплачиваете, я всё проанализирую и дам ответ.
Обращайте внимание на дополнительные опции.
Если нужна отдельная карта сайта для всех картинок - предварительно пишите и уточняйте. Подходит не всем сайтам, т. к. некоторые CMS хранят картинки на сторонних серверах.