МИР ВЕБМАСТЕРА
Меню сайта
Категории каталога
ВебМастеру [111]Раскрутка сайта [122]Уроки Photoshop [44]Who is who в Инете [21]
PC [13]Разное [0]CopyPaste [4]
Главная » Статьи » Раскрутка сайта

Ошибки, часто встречающиеся в файле robots.txt

это бомба $550 дают просто так

Непосредственно ошибки
Перепутанные инструкции

Одна из самых распространённых ошибок в robots.txt – перепутаные между собой инструкции. Например:


User-agent: /
Disallow: Yandex 


Правильно писать вот так:


User-agent: Yandex
Disallow: / 

Указание нескольких каталогов в одной инструкции Disallow


Многие владельцы сайтов пытаются поместить все запрещаемые к индексации каталоги в одну инструкцию Disallow.


Disallow: /css/ /cgi-bin/ /images/ 


Такая запись нарушает стандарт, и невозможно угадать, как ее обработают разные роботы. Некоторые могут «отбросить» пробелы и интерпретируют эту запись как «Disallow: /css/cgi-bin/images/». Некоторые могут использовать только первую или последнюю папки (/css/ или /images/ соответственно). Кто-то может просто отбросить непонятную инструкцию полностью. 


Конечно, какие-то роботы могут обработать эту конструкцию именно так, как расчитывал веб-мастер, но расчитывать на это все же не стоит. Правильно надо писать так:


Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/ 

Имя файла содержит заглавные буквы


Файл должен называться robots.txt, а не Robots.txt или ROBOTS.TXT.
Использование файла robot.txt вместо robots.txt


Еще раз – файл должен называться robots.txt.
Пустая строка в User-agent


Так неправильно:
User-agent: 
Disallow: 


Так правильно:
User-agent: *
Disallow: 

Url в директиве Host


Следует писать без аббревиатуры протокола передачи гипертекста, то есть без http:// и без закрывающего слеша /


Неправильно:


User-agent: Yandex
Disallow: /cgi-bin
Host: http://www.ironscorpio.my1.ru/ 


Правильно:


User-agent: Yandex
Disallow: /cgi-bin
Host: www.ironscorpio.my1.ru 



Директива host Является корректной только для робота Яндекса
Использование в Disallow символов подстановки


Иногда хочется написать что-то вроде:


User-agent: *
Disallow: file*.html 


для указания все файлов file1.html, file2.html, file3.html и т.д. Но нельзя, к сожалению (некоторые роботы поддерживают символы подстановки).
Плохой стиль
Комментарии на одной строке с инструкциями


По стандарту, такая запись вполне возможна:


Disallow: /cgi-bin/ #запрещаем роботам индексировать cgi-bin 



В прошлом некоторые роботы не обрабатывали такие строки. Вероятно, сейчас ни у одной из основных поисковых систем уже нет такой проблемы, но стоит ли рисковать? Лучше помещать комментарии отдельно.
Редирект на страницу 404-й ошибки:


Довольно часто, на сайтах без файла robots.txt при запросе этого файла делается переадресация на другую страницу. Иногда такая переадресация происходит без отдачи статуса 404 Not Found. Пауку самому приходится разбираться, что он получил – robors.txt или обычный html-файл. Эта ситуация вряд ли создаст какие-то проблемы, но все-таки лучше всегда класть в корень сайта пустой файл robots.txt.
Заглавные буквы – это плохой стиль


USER-AGENT: GOOGLEBOT
DISALLOW: 


Хотя по стандарту robots.txt и нечувствителен к регистру, часто к нему чувствительны имена файов и директорий. Кроме того, написание robots.txt сплошь заглавными буквами считается плохим стилем.


User-agent: googlebot
Disallow: 

Перечисление всех файлов


Еще одной ошибкой является перечисление каждого файла в директории:


User-agent: *
Disallow: /AL/Alabama.html
Disallow: /AL/AR.html
Disallow: /Az/AZ.html
Disallow: /Az/bali.html
Disallow: /Az/bed-breakfast.html 


Вместо этого можно просто закрыть от индексации директорию целиком:


User-agent: *
Disallow: /AL/
Disallow: /Az/ 

Инструкции Allow не существует!


Нет инструкции Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает!
Отдельные роботы (например googlebot) понимают директиву Allow


Так неправильно:


User-agent: Yandex
Disallow: /john/
Allow: /jane/ 


А вот так – правильно:


User-agent: Yandex
Disallow: /john/
Disallow: 

Использование дополнительных директив в секции *


Некоторые роботы могут неправильно отреагировать на использование дополнительных директив. Это значит, что не стоит использовать дополнительные директивы в секции «*».
То есть рекомендуется создавать специальные секции для нестандартных директив, таких как «Host».


Так неправильно:


User-agent: *
Disallow: /css/
Host: www.ironscorpio.my1.ru 


А вот так – правильно:


User-agent: *
Disallow: /css/

User-agent: Yandex
Disallow: /css/
Host: www.ironscorpio.my1.ru 

Отсутствие инструкции Disallow


Даже если мы хотим просто использовать дополнительную директиву и не хотим ничего запрещать, лучше всего указать пустой Disallow. По стандарту интрукция Disallow является обязательной, и робот может «неправильно вас понять».


Так неправильно:


User-agent: Yandex
Host: www.ironscorpio.my1.ru 


Так правильно:


User-agent: Yandex
Disallow:
Host: www.ironscorpio.my1.ru 



Обсуждение этого вопроса на Searchengines.ru
Отсутствие слешей при указании директории


Как в этом случае поступит робот?


User-agent: Yandex
Disallow: john 


По стандарту, он не будет индексировать файл с именем "john” и директорию с именем "john”. Для указания только директории надо писать так:


User-agent: Yandex
Disallow: /john/ 

Неправильный http-заголовок


Сервер должен возвращать в HTTP-заголовке для robots.txt «Content-Type: text/plain» а, например, не «Content-Type: text/html». Неправильный заголовок может привести к тому, что некоторые роботы не обработают файл.






BBCode:
HTML:  
[ Скрыть ссылки ]




Категория: Раскрутка сайта | Добавил: ya (07.03.2009)
Просмотров: 1564296 | Комментарии: 3 |
Всего комментариев: 3
avatar
0
3 Дима • 22:45, 19.09.2011
Ух ты и от меня спасибо, мне с яндексом тоже помогло, просто я сохранил не через notepad++ ? а через phpDesign 7, как простой .txt ? и уаля эроглифы исчезли, спасибо!
avatar
0
2 Николай • 12:41, 08.06.2011
Спасибо!
Ответ: Не за что!
avatar
0
1 Николай • 19:54, 07.06.2011
А можно вопрос?
Что это
О╩©User-agent: *
Disallow: /*ru
Disallow: /*en
Disallow: /*city
Disallow: /*login
Disallow: /*register
в файле robots.txt
Проверяем Яндексом и получаем:
1: О╩©User-agent: *

Обнаружена неизвестная директива

2: Disallow: /*ru

Перед правилом нет директивы User-agent
Ответ: Здравствуйте, Николай!

Для того, что бы не было ошибки "О╩©"

Создайте robots.txt, в блокноте или любом другом редактора, который может сохранять простой ASCII .txt файл. Robots.txt должен создаваться в текстовом формате Unix. Большинство хороших текстовых редакторов уже умеют превращать символы перевода строки Windows в Unix. Либо ваш FTP-клиент должен уметь это делать.




avatar
Форма входа
Поиск
TRANSLATOR
Друзья сайта
Статистика
p
IP:54.225.26.44


Здесь и Сейчас: 1
Прохожих: 1
VIP: 0
l
n