Большинство людей и компаний понимает, что для достижения самого высокого места в поиске нужно заранее продумывать все шаги, как до начала оптимизации ресурса, так и составлять планы действий на будущее. Google сегодня остаётся одной из немногих поисковых систем, действующей на бесплатной основе для сайтов участников. Также ссылки на ваш ресурс в его базе данных появляются одними из первых, а согласно данным, полученным 10 июля 2003 года, всемирная база данных Google насчитывает более 3.4 миллиардов страниц! А ведь это только капля в море, так как многие странички не доступны для индексирования паукам системы.

Как и в жизни, существует много рисков и сложностей, с которыми сталкиваются владельцы сайтов, вебмастеры и профессионалы-оптимизаторы при запуске своих маркетинговых программ. Хотя большинство экспертов и соглашаются с тем, что Google посылает роботов до и после определённых периодов, но практически никто их них не может с уверенностью сказать, когда же именно, какого числа система проведёт основное сканирование и полностью обновит свою базу данных. В этой статье мы рассмотрим основные составляющие "Google Dance", а также когда и как распознавать роботов, и как учитывать этот фактор для оптимизации своего сайта.

Этот загадочный Google Dance

Если вы думаете, что вам надо написать письмо, чтобы получить приглашение на ежегодную танцевальную вечеринку в штаб-квартире Google в GooglePlex, то я думаю, вам определённо стоит почитать этот раздел, чтобы понять, как именно работает база данных Google и его роботы. Хотя уже достаточно много известно о ежемесячных обновлениях базы данных (их ещё любя называют "Google Dance"), но в последнее время они всё больше и больше не похожи один на другой, а поэтому для начинающих вебмастеров — это как гигантский скачок в пустоту, где ничего не видно вокруг. И по сему они с нетерпением ждут каждого ежемесячного обновления, надеясь на высшие силы.

Каждый "танец" начинается с главного, глобального поиска. Назовём это "Поиском А". Что же происходит в это время? В принципе, ничего особенного — пауки посещают всю базу данных (более 3,4 млрд. страничек по последним подсчётам). Для этого в распоряжении Google находится более 15,000 недорогих компьютеров (по сути, обычных десктопов), которые разбросаны по всему миру и находятся в различных дата-центрах. В это время Googlebot’ы посещают все странички из базы, а также ищут новые, которые недавно появились на свет. После окончания "Поиска А", когда все странички зафиксированы в базе для следующего обновления, следует второй поиск, приблизительно через 2 недели после первого.

Google в это время полностью обновляет свою базу данных, и результаты становятся доступны на www2.google.com и www3.google.com. Также в это же самое время происходит обновление главной базы данных, но как уже указывалось выше — Google использует более 15,000 серверов, а поэтому случается так, что в разных частях света результаты поиска могут отличаться друг от друга, пока не произойдёт полное обновление базы данных. "Google Dance" будет продолжаться ещё несколько дней, но обычно не более недели (исключения составляют случаи, когда меняется сам алгоритм, как это было сделано в апреле 2003 года).

В любом случае, как во время, так и сразу же после обновления базы данных, Google начнёт второй глобальный поиск, назовём его "Поиском Б". Во время него будут посещены все существующие странички в текущей базе данных, а также новые, недавно запущенные ресурсы, которые уже засекли пауки. После этого поиска цикл начинается сначала для следующего месяца.

Как "словить" Googlebot в нужное время?

Каждый опытный вебмастер знает, что для того, чтобы попасть в базу Google или обновить уже существующую там информацию, нужно тщательно всё спланировать и "поймать" Googlebot именно в нужной точке ежемесячного цикла. Большинство экспертов по оптимизации выделяют первый поиск, который проводит Googlebot в начале месяца, и второй — во время и сразу же после обновления базы данных.

Итак, у нас стоит задача поместить сайт в базу данных Google. Вопрос: гарантировано ли включение сайта в базу данных при посещении его роботом системы во время этих поисков? Судя по нашему опыту — не всегда. Будучи более точным, если паук посещает сайт в начале месяца, то есть все шансы на то, что он не будет включён в обновление этого месяца. Если же паук зашёл на сайт во время второго поиска, который следует сразу же за обновлением, то очень вероятно (но не гарантированно), что он зайдёт на него и во время следующего поиска, а затем включит в обновление на следующий месяц.

>Иногда паук может просто зайти на новый сайт и просмотреть только его главную страницу и файл Robots.txt. Это хороший знак, так как это значит, что Googlebot вернётся сюда во время следующего большого поиска и сайт будет включён в обновление, которое следует за вторым поиском. Итак, для того чтобы новому сайту попасть в базу данных, потребуется два визита Googlebot, хотя исключения из этого правила тоже случаются.

Чтобы обеспечить как можно более быстрое индексирование и включение страниц в базу данных, можно предпринять следующие шаги: если паук зайдёт на сайт первый раз во время или после обновления, то данный сайт практически гарантировано будет включён в Google Dance на следующий месяц. Если же паук не зашёл в это время на ваш сайт, а сделал это только во время следующего визита, то время ожидания появления сайта в базе данных значительно увеличится.

В свете всего этого, что же может сделать простой смертный вебмастер для того, чтобы "словить" Googlebot в нужное время? Естественно можно молиться и ставить свечи в церкви, а также прыгать с бубном вокруг сервера, но иногда бывает намного проще просто составить план действий. Если у вас уже есть ресурсы, которые находятся в базе данных Google, то вы можете наблюдать за процессом "глобального поиска" и всеми обновлениями, и в соответствии с этим планировать запуск новых проектов. В случае же, если таких сайтов у нас ещё нет, то можно следить за обновлениями на www.google.com.

Хотя никогда нет 100% гарантии того, что вашу страничку проиндексируют (частично или полностью), есть несколько методов, которые дадут Googlebot’у знак, что надо посетить данный сайт. Один из них — обмен ссылками с сайтами, у которых высокий Page Rank. Чем выше уровень PageRank у сайта, тем больше шансов на то, что данный сайт будет посещаться роботами Google чаще, а это в свою очередь означает, что и ваш URL попадёт в базу намного быстрее. Пару слов о релевантности ссылок: если сайт посвящён продаже мебели, а ссылки с него ведут на сайты компаний-производителей, дистрибьюторов и т.д., то Google оценит ваш сайт выше, чем если бы вы разместили ссылки не по теме вашего сайта.

Следующий метод — поместить сайт в базу данных, используя раздел "Аdd url". Хотя это и ничего не гарантирует, но пренебрегать этим не следует. Приём номер три — вебмастер может установить Google Toolbar и зайти на свою страничку, используя его. Уже со второго полугодия 2002 года отмечается прямая зависимость между включением сайта в базу данных и посещениями с включённым Google Toolbar.

Также неплохим началом для попадания в базу данных Google будет размещение в каталоге Yahoo за US $299 ежегодно. Сервис Yahoo ещё хорош и тем, что они обычно помещают сайты в каталог в течение всего лишь 7 дней. Не забывайте и про DMOZ (Open Directory Project или ODP), размещение в котором тоже будет большим плюсом для включения в базу данных, хотя это и может занять немного дольше времени. В последнее время глюки у серверов DMOZ заметно участились.

Вот и сказочке конец, а кто слушал — молодец!

Вся техническая информация, доступная вебмастерам и оптимизаторам, которая относится к периодам активности пауков Google и сроках обновления базы данных, несомненно может помочь в выборе методов планирования и оптимизации сайта для поисковых систем. Больше всего эти знания могут помочь при запуске новых проектов и обновлений, которые должны запускаться строго в определённый момент, для того чтобы попасть в базу данных поисковика. А так как Google был и остаётся источником хорошего траффика, то знания всех этих премудростей окажет вам неоценимую помощь.