Robots.txt

Содержание:

Что такое robots.txt

Robots.txt – файл, который содержит руководство к действию для поисковых роботов. Заходя на сайт, они обращаются именно к этому файлу, в нём содержатся инструкции для роботов, указывающие, какие файлы, директории и страницы запрещены для индексирования. Поэтому каждый веб-мастер должен знать, что такое robots.txt и как правильно создавать этот файл. Файл только запрещает индексацию, но не даёт разрешений. Хотя он не является безоговорочным указанием для поисковых роботов, ошибки в написании robots.txt для сайта приводят к потере позиций в поисковой выдаче и другим проблемам с продвижением.

Основные директивы файла robots.txt

Файл robots.txt – документ со стандартным расширением *.txt, который создаётся с помощью любого текстового редактора. Он располагается в корневой директории сайта и содержит инструкцию для поисковых роботов. Директивы robots.txt носят рекомендательный характер, они могут быть общими, а могут быть конкретными для каждого отдельного робота. Существуют определённые правила создания этого файла.

Правила создания файла robots.txt:

  • Внимательно относитесь к манипуляциям с названием файла.
  • Название файла пишите только в нижнем регистре.
  • Размещайте созданный файл только в корневой директории.

Содержание файла robots.txt имеет большое значение для продвижения сайта. Ошибки в его составлении приводят к тому, что не индексируются отдельные файлы и директории. Поэтому тщательная проверка robots.txt обязательна

Примерное содержание сайта robots.txt должно быть таким:

User-agent: *
Disallow: /adminka/
Host: /image/

Звёздочка в первой строке означает, что инструкция должна быть принята к исполнению всеми поисковыми роботами. Если инструкция предназначается для конкретного робота, в строке должно быть прописано его имя. Вторая строка запрещает индексацию директории «adminka». Третья строка разрешает индексацию директории «image». Каждая директория, запрещённая к индексации, прописывается в отдельной строке, совмещение нескольких директорий в одной строке недопустимо.

Для чего служит robots.txt ещё

Помимо того, что файл robots.txt может запрещать к индексации отдельные директории, запрет можно накладывать на файлы и целые страницы. Также можно запретить всем или каким-то конкретным поисковым роботам индексировать весь сайт. При написании инструкции нельзя менять местами директивы User-agent и Disallow, инструкция User-agent не должна быть пустой. Даже зная, как создать robots.txt, перед загрузкой на сервер обязательно проверяйте и перепроверяйте его содержание.