аукцион / FPR / donate / услуги / RSS / распечатать / вход 
Мой мир
Вконтакте
Одноклассники

Смена главного зеркала в robots.txt

[20 января 2015 | 21 января 2015 | 23 января 2015]

Интересно, оказывается большинство поисковых роботов помимо самостоятельного определения главного зеркала умеют пользоваться информацией из файла robots.txt и вполне корректно применяют полученные данные для индексации и определения главного зеркала сайта.

Что нужно для изменения главного зеркала сайта с использованием файла robots.txt? Достаточно прописать директиву Host следующим образом.

User-Agent: *
Host: имя_хоста

Этого будет достаточно, чтобы поисковые роботы откорректировали свои базы данных нужным образом.

Имя хоста не должно содержать только символы домена и не могут быть IP-адресом. Следующие примеры являются правильными вариантами указания директивы Host.

А вот такие директивы будут проигнорированы поисковыми роботами:

Удачных экспериментов!

Тэги: ИТ

Отредактировано:2020-09-10 20:10:39


Этот сайт использует файлы cookies, чтобы упростить вашу навигацию по сайту, предлагать только интересную информацию и упростить заполнение форм. Я предполагаю, что, если вы продолжаете использовать мой сайт, то вы согласны с использованием мной файлов cookies. Вы в любое время можете удалить и/или запретить их использование изменив настройки своего интернет-браузера.

Сообщайте мне о замеченных ошибках на: web@orcinus.ru. Все пожелания и советы будут учтены при дальнейшем проектировании сайта. Я готов сотрудничать со всеми желающими. В некоторых случаях, мнение автора может не совпадать с мнением автора! Phone: +7-902-924-70-49.

Top.Mail.Ru
Top.Mail.Ru LiveInternet Rambler's Top100 Яндекс.Метрика