uCoz,ведь наличие на сайте Robots.txt - это верный путь к раскрутке
сайта,ведь если его нету,то есть вероятность попасть под фильтры
поисковых систем.
Рассмотрим теги,которые входят в состав Robots.txt :
Disallow: это дистрибутив,который запрещает индексацию определенных страниц.
Allow: это дистрибутив,который разрешает индексацию определенных страниц.
User-agent: Этот тег дает информацию о боте для которого стоят настройки.
Исходя из этого,сразу появляется мысль,а как же создать сам Robots.txt и чтобы он был правильный,вот ответ :
Нельзя просто создать Robots.txt и вставить в него дистрибутивы,уж так
построена система,рассмотрим на примере,например,каталог статей.
Запрещаем к индексации :
Disallow: /publ/
Разрешаем индексацию :
Allow: /publ/
Также,можно вписать не только адреса модулей,можно так же вписать определенные страницы сайта или модулей.
Важный момент,дистрибутив Allow должен стоять выше своего оппонента Disallow.
Тег User-agent ставится в самом верху,теперь посмотрим,как его
настроить.Если вы хотите,что бы информация была открыта только для бота
Яндекса,то ставим его так :
User-agent: Yandex
А если мы хотим,чтобы информация была открыта для просмотра всем роботам,то ставим тег так :
User-agent: *
Далее указываем путь к карте сайта :
Sitemap: http://www.имя.домен/sitemap.xml
Sitemap: http://www.имя.домен/sitemap-forum.xml
Если у вас стоит прикрепленный домен (net.ru,com,ru и др),то даем роботам знать об этом,пример :
Host: www.vesucoz.ru
Именно так,не каких http://.
Вот пример готового Robots.txt для uCoz :
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: www.vesucoz.ru
Sitemap:http://www.vesucoz.ru/sitemap.xml
Sitemap:http://www.vesucoz.ru/sitemap-forum.xml
В начале создания сайта,у вас автоматически ставится дистрибутив
Disallow и обойти его не традиционным методом нельзя,а традиционным
можно убрать оплатив базовый пакет,который стоит не более 100 рублей,а
после написать в Тех поддержку uCoz с просьбой снять с карантина.
