Особенности индексации сайтов Yandex и Google
Процесс индексации сайтов в настоящее время в главных российских поисковиках (Yandex и Google) немного отличается. Google достаточно давно (больше года назад) отошел от рывков в обновлении индекса, который теперь пополняется непрерывно. Яндекс пока еще использует систему апдейтов, при которых индекс большей частью обновляется рывками в дни «Апов», и есть небольшая часть динамического индекса, обновляемая непрерывно. Соответственно, робот, который поставляет тексты в динамический индекс Яндекса принято называть быстроробом.
Скорость индексации сайта
Скорость индексации сайта зависит от нескольких факторов: оценки популярности и полезности сайта, присвоенной сайту поисковиком; частоты обновления материалов на сайте; правильной системы оповещения поисковика об изменении содержания сайта. Решение для первого и второго пункта очевидно. Третий пункт нуждается в детальном рассмотрении.
Оповещение поисковиков об обновлении сайта
Традиционный способом оповещении поисковика о новых материалах — передача ему карты сайта в формате ХМL. Для создании карты сайта есть много инструментов, как автоматических, так и не автоматических. Способ карт сайта увеличивает надежность индексации, но мало влияет на ее скорость.
Современные методы ускорения индексации в основном основаны на каналах RSS и пинговании поисковиков по специальным протоколам, а также системах поиска на сайте.
Пингование поисковиков и каналы RSS
Современные блоги и другие CMS при наличии обновления посылают специальные сообщения по протоколу Weblogs.Ping, которые могут регистрироваться поисковыми системами и, в ответ на которые, последние посылают своего быстроробота. В популярной блоговой системе WordPress настройки оповещения находятся в меню «написание/writing» вкладки «параметры/setting». По умолчанию там уже включен агрегатор «rpc.pingomatic.com/», который отправляет уведомление большинству зарубежных поисковиков. Поисковая система Yandex имеет свой адрес для получения пингов — «ping.blogs.yandex.ru/RPC2», который полезно включить в этот список. Кроме того Яндекс имеет специальную страницу, где можно добавить уведомление об изменениях вручную.
Работа по протоколу Weblogs.Ping скрыта туманными объяснениями и нелепыми статьями. По моему опыту робот поисковиков приходит при создании новой статьи в блоге и при большом обновлении статьи в процентном соотношении текста. Робот Google, например, появляется практически мгновенно после нажатия на кнопку опубликовать и в течении часа происходит первичная индексация статьи. Кеш страницы, по-моему, сразу не создается. Дальнейшие нажатия на кнопку опубликовать не ведут к мгновенному появлению робота, поэтому лучше сначала все проверить и только потом опубликовать новый материал.
Формы поиска на сайте
На сайте можно установить форму поиска от популярных поисковиков. Поисковики обычно подводят статистику об использовании поиска и дают возможность сообщать о новых страницах. Так поиск для сайта от Яндекс дает возможность отправлять на индексацию до 100 страниц в день. Сроки появления быстроробота там не оговариваются, у меня вся индексация обычно укладывается в два дня.
P.S. от 1.09.2012. Специалисты Google утвержают, что URL, введенные в инструменте «Просмотреть как Googlebot» из панели веб мастера Google обрабатываются в течении 24 часов.