Главная Услуги Портфолио Клиенты Контакты

Файл robots.txt

Для управления индексацией страниц сайта в поисковиках используется файл robots.txt. Все ненужные с точки зрения поисковиков страницы сайта желательно закрыть от индексации.

Описание:
http://robotstxt.org.ru/
http://www.robotstxt.org/

Использование (помощь Яндекса):
http://help.yandex.ru/webmaster/?id=996567

Пример простого robots.txt (пустая строчка Disallow в этом случае обязательна):

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www.site.ru

Если главная страница сайта доступна по двум URL-адресам http://site.ru/ и http://site.ru/index.html, то второй вариант желательно закрыть от индексации:

User-agent: *
Disallow: /index.html

User-agent: Yandex
Disallow: /index.html
Host: www.site.ru

Это поможет избежать возникновения в индексе дубля главной страницы сайта.

Проверить, какие страницы, закрытые в robots.txt, будут действительно индексироваться, а какие нет, можно в панели вебмастера.

антивирусы | биржа ссылок | браузеры | валидаторы | внешние ссылки | индексация | каталоги | контекстная реклама | панели вебмастера | парковка доменов | переводчики online | плотность слов | поиск | поисковый аудит | полезные программы | полезные ресурсы | почта | регистрация доменов | скриншот | статистика запросов | счетчики | тиц, pr | хостинг | шаблоны | электронные деньги | cms | icq | ip-адрес | robots.txt | seo-оптимизация | sitemap | whois | рекомендуем | реклама | наши баннеры | карта