Ростокин Илья — личный блог предпринимателя | Файлу ROBOTS.TXT исполняется 20 лет
Ростокин Илья. Личный ресурс интернет предпринимателя. SEO, бизнес в сети, продвижение и оптимизация веб проектов.
Ростокин Илья, Ilya Rostokin, Илья Рост, продвижение в интернете, SEO, бизнес в интернете
1886
post-template-default,single,single-post,postid-1886,single-format-standard,ajax_fade,page_not_loaded,smooth_scroll,

Записки

Posted by Илья Ростокин in Оптимизация

Файлу ROBOTS.TXT исполняется 20 лет

Благополучная индексация любого сайта практически невозможно без наличия небольшого, но чрезвычайно важного файла в корне файловой системы сайта. Речь идет о robots.txt, которому в этом году исполняется 20 лет. При помощи всего нескольких команд вебмастер получает возможность блокирования поисковых роботов к определенным элементам сайта.

 

Около двадцати лет назад СЕО-рынок в первую очередь заботился о доступности ресурсов пользователю. Главным критерием хорошего сайта была его быстрая загрузка, а сайты, с аудиторией в несколько десятков тысяч человек нередко оказывались «уложенными на лопатки» — наплыв посетителей попросту забивал канал и о работоспособности не могло идти и речи. О поисковой выдаче в далекие 90-е мало кто задумывался.

 

В середине 1994 года Мартин Костер предлагает ограничивать от поисковых роботов определенные разделы интернет-ресурсов. Осуществить такое ограничение стало возможным благодаря крохотному файлу robots.txt. «Большие киты» того времени — поисковики Lycos, AltaViasta и WebCrafter практически сразу же адаптировали имеющиеся алгоритмы сбора информации под robots.txt.

 

Несмотря на то, что с момента принятия robots.txt как должное прошло 20 лет, нули и единицы, прописанные в файле, до сегодняшнего дня остаются прекрасным инструментом безопасности ресурса.

 

Комментируйте запись