WIKI

Например,

Robots.txt

Robots.txt – текстовый файл, предназначенный для ограничения индексирования страниц сайта роботами поисковых систем. Является частью стандарта исключений для роботов, согласно которому поисковый робот перед обращением к сайту должен запросить файл robots.txt, чтобы выяснить какие страницы сайта разрешено индексировать. Выполнение стандарта является добровольным, поэтому применение директив в robots.txt не гарантирует защиту от сканирования и индексации контента роботами.

Robots.txt содержит набор инструкций для роботов и располагается в корневом каталоге сайта. С помощью файла можно:

  • Закрыть от индексации страницу сайта. Например, дубль страницы с index.php.
  • Закрыть от индексации раздел сайта. Например, личный кабинет или корзину на сайте.
  • Указать расположение файла с xml картой сайта.
  • Указать параметры URL, не влияющие на содержимое сайта (для Яндекс).
  • Указать основное зеркало сайта (для Яндекс).

Рассмотрим основные директивы, используемые в robots.txt на примере.


User-agent: *
Disallow: /
Allow: /catalog
Sitemap: http://site1.ru/sitemap.xml
Host: www.site1.ru

Директива User-agent содержит название робота, для которого определены инструкции ниже. С помощью параметра * можно задать инструкции для всех поисковых роботов. Правило Disallow означает запрет на индексацию определенного каталога или страницы сайта. Открыть часть разделов для обхода роботом можно с помощью инструкции Allow. Команда sitemap указывает расположение xml карты сайта. А директива Host, учитываемая поисковыми роботами Яндекса, указывает на главное зеркало сайта.

Таким образом, в примере выше для всех поисковых роботов даны команды не индексировать весь сайт, за исключением раздела /catalog.

Проверить корректность инструкций в файле robots.txt можно через панель Вебмастера Яндекс по ссылке https://webmaster.yandex.ru/robots.xml.

Или с помощью инструмента проверки файла robots.txt от Google, доступного в Search Console.


Рекламное агентствоИнтернет-студия
ООО «Компания 28», г. Москва, Краснопресненская набережная д. 12
© Интернет студия 28WEB, 2018
Интернет-студия 28WEB
Интернет-студия 28WEB - разработка сайтов и интернет магазинов, продвижение сайтов, поддержка сайтов, внедрение корпоративных порталов.
123610
Россия
Московская область
Москва
Краснопренсненская набережная, д. 12
Закрыть
Пишите нам по почте web@28web.ru или через форму ниже Загрузка...
Адрес
и телефон
ООО «Компания 28», г. Москва, Краснопресненская набережная д. 12
Спасибо за заявку!

Мы свяжемся с Вами в ближайшее время.