Индексация сайта в поисковых системах — процесс добавления сведений о сайте роботом поисковой системы в базу данных, которые впоследствии используются для поиска информации на проиндексированных сайтах.
Посмотреть проиндексированные страницы сайта в Яндексе или Google можно через панели вебмастера или применяя специальные поисковые запросы.
Специальные поисковые запросы для Yandex:
https://yandex.ru/yandsearch?text=site:Test.ru
Специальные поисковые запросы для Google:
https://www.google.com/search?q=site:Test.ru
(https://support.google.com/webmasters/answer/35256)
Примечания.
а) В приведенных выше запросах возможны разные результаты для доменов Test.ru и www.Test.ru.
б) При использовании данного запроса Google показывает наиболее значимые результаты, опуская некоторые похожие на уже показанные. Для того чтобы показать все результаты, в запросе необходимо добавить параметр &filter=0 (для Яндекса используем параметр &rd=0).
в) Чтобы показать на одной странице большее число результатов поиска, нужно использовать параметр numdoc для Яндекса (максимальное значение 50) и параметр num для Google (максимальное значение 100; работает только при отключенном «Живом поиске»):
https://yandex.ru/yandsearch?text=site:Test.ru&numdoc=50
https://www.google.com/search?q=site:Test.ru&num=100&filter=0
Проверка индексации специальными сервисами:
https://be1.ru/
https://seolib.ru/tools/links/index/ (платно, требуется регистрация)
Для управления индексацией используется файл robots.txt.
Для более быстрой и полной индексации сайтов поисковыми системами можно задействовать файл sitemap.
IndexNow (протокол индексирования для Яндекс и Microsoft Bing):
https://www.indexnow.org/ru_ru/index
(https://www.ashmanov.com/education/articles/chto-takoe-indexnow-i-kak-ego-ispolzovat-issledovanie-s-primerami/)