Смена главного зеркала в robots.txt
Интересно, оказывается большинство поисковых роботов помимо самостоятельного определения главного зеркала умеют пользоваться информацией из файла robots.txt и вполне корректно применяют полученные данные для индексации и определения главного зеркала сайта.
Что нужно для изменения главного зеркала сайта с использованием файла robots.txt? Достаточно прописать директиву Host следующим образом.
User-Agent: * Host: имя_хоста
Этого будет достаточно, чтобы поисковые роботы откорректировали свои базы данных нужным образом.
Имя хоста не должно содержать только символы домена и не могут быть IP-адресом. Следующие примеры являются правильными вариантами указания директивы Host.
- orcinus.ru
- www.orcinus.ru
- https://orcinus.ru
- https://orcinus.ru:443
- media.orcinus.ru:80
А вот такие директивы будут проигнорированы поисковыми роботами:
- yandex.com:8123456
- *google.com
- orcinus.ru.
- .orcinus.ru
- media..orcinus.ru
- 192.168.0.1
Удачных экспериментов!
Тэги: ИТ
Отредактировано:2020-09-10 20:10:39