Коалиции крупных международных поисковых систем
webmasterpro.com.ua
Данная статья представляет собой попытку обобщить данные полученные из форумов и информацию от самих поисковых систем и каталогов.
В последнее время в крупных международных поисковых системах наблюдается изменение основных критериев поиска документов.
Заметна тенденция объединения поисковых систем между собой. Теперь не достаточно иметь хороший, релевантный документ, чтобы быть в первых строках. Необходимо также работать над его продвижением во всех крупных поисковых системах. Нельзя просто создавать доорвеи (doorway, gateway pages) для каждой поисковой системы, надо присутствовать во всех поисковых базах. Такую тенденцию объединения поисковых систем можно объяснить несколькими фактами. Одним из них является появление в интернете большого количества ресурсов, предлагающих мета-поисковые технологии, отбирающих часть пользователей у "классических" поисковых систем.
В мета-поисковой технологии в качестве критериев релевантности документа используются его позиции (по одному и тому же поисковому словосочетанию) в известных поисковых системах. Преимущества такого подхода очевидны - нет необходимости собирать и обрабатывать огромную базу данных, не требуется разрабатывать сложные поисковые алгоритмы и бороться со спаммерами - все это делают крупные поисковые системы, это их головная боль. Требуется только написать достаточно простую программу, посылающую вводимые данные на несколько известных поисковых систем и обрабатывающую ответы от них. При этом качество поиска получается высоким, т.к. при таком подходе случайные результаты исключаются (хотя пропадает и часть качественных результатов).
Видимо, "Классические" поисковые системы, видимо, тоже начали использовать эту технологию, но в измененном виде - оценка популярности ресурса по количеству и качеству ссылок на него, при этом ссылками являются и результаты поиска в других поисковых системах.
Пример: AltaVista не так давно начала учитывать количество ссылок на каждый ресурс подходящий по словосочетанию. При этом ссылки искались в той же базе данных, что и сами ресурсы (т.е. в собственной базе AV), а также в известных каталогах ссылок таких как Yahoo!, Looksmart. Ссылки с обычных страниц было принято считать ссылками низкого качества, ссылки с известных каталогов - ссылками высокого качества. Разделение на ссылки высокого и низкого качества (по слухам, оно организованно в виде баллов от 1 для ссылки с обычной страницы и до 200 для ссылки с Yahoo!) сделано для защиты от "накручивания" этого параметра ссылками со множества сайтов, сделанных только ради ссылки на основной сайт. В настоящее время AltaVista использует также результаты работы других поисковых систем - она посылает введенное поисковое слово или словосочетание на Google и результаты Google использует как ссылки высокого качества (из того же непроверенного источника - до 1000 баллов за первое место в результатах Google).
Описание взаимодействия между крупными поисковыми системами- AltaVista является одним из самых популярных
международных поисковых сервисов. Изначально AltaVista
была просто поисковой системой с собственным
пауком (scooter), автоматически собирающим информацию,
обходя сайты по ссылкам. В настоящее время
в нее включен еще и каталог ресурсов
от Looksmart. Попадая на главную страницу
AV, пользователь может провести поиск по базе
поисковой системы (Web Page Search) или по базе
каталога ресурсов (AltaVista Directory). Каталог
ресурсов предоставляется AltaViste одним
из крупнейших представителем этой отрасли -
Looksmart. Базы, видимо, хранятся в разных местах
и периодически синхронизируются. Прописаться
в этом каталоге можно как со страницы
на AV, так и со страницы
на LookSmart, причем на одинаковых условиях
(за деньги).
Имеется информация, что на релевантность документа с точки зрения AV влияют следующие факторы:- поля html-документа keywords, title,
description, body text и т.д.;
- популярность URL документа и / или его родительского сайта (имеется в виду количество ссылок на сам документ, например http://www.domain.ru/rus/index./html и количество ссылок на http://www.domain.ru), т.е. сколько ссылок есть на этот документ или сайт с других сайтов. Причем ссылки с разных сайтов имеют разный вес. По непроверенным данным, имеет место следующее соотношение:
- первое место в результатах поиска
по тому же поисковому запросу
в Google 1000 баллов, последующие места
имеют меньший вес;
- ссылка с Yahoo! (т.е. сайт присутствует
в базе данных Yahoo!) 200 баллов;
- ссылка с Open Directory Project
100 баллов;
- ссылка с About.com, Go.com, Looksmart
(т.е. из "собственного" каталога AltaVista)
25 баллов;
- просто ссылка с любого другого сайта 1 балл.
- поля html-документа keywords, title,
description, body text и т.д.;
Вполне понятно, что самые дорогие ссылки с Google. Они одними из первых (если не первыми) начали использовать алгоритм поиска документов с сильной ставкой на популярность ссылок и добились высокой скорости поиска при объеме базы, сравнимой с AV. Остается загадкой, почему прямой конкурент, Yahoo! ценится больше чем "собственный" каталог ресурсов, предоставляемый LookSmart.
Такая схема позволяет бороться со спаммерами и простым копированием html документов (теперь недостаточно скопировать документ #1 по словосочетанию 'porno sex' и заменив все 'porno' на 'красные', а 'sex' на 'розы', чтобы стать #1 в менее популярной области при поиске по словосочетанию 'красные розы'); борьба с уничтоженными документами (база большая - необновляемые и мертвые документы искать сложно, а тут более новая база Google и еще модерируемые каталоги).
Сейчас в Google включен каталог ресурсов, основанный на Open Directory Project. Т.е. при попадании в Open Directory Project, сайт попадает и в каталог ресурсов Google, но не сразу. Кроме того, в каталоге Google есть ресурсы, которых нет в ODP (возможно, что это
Google является поставщиком поисковых результатов для каталога ресурсов Yahoo! (ссылка при поиске Web Pages search).
Если при поиске документ имеет выгодную позицию на Google, то при поиске на AltaVista по тому же поисковому запросу, его релевантность в AltaVista растет (см. п.1 AltaVista).
Видимо, наиболее весомыми ссылками для Google являются ссылки с ODP и Yahoo! (а может быть и с AltaVista - партнерство все-таки).
Добавление в Yahoo! дает большое преимущество на AltaVista и Google, логично предположить, что и на других системах тоже.
В Yahoo! появился и web-search - результаты берутся из поисковой системы Google (при поиске по каталогу надо нажать Web Pages вверху или внизу страницы).
При стандартном поиске в HotBot (web-search) выдаются результаты сначала (первые 9) полученные от DirectHit по тому же поисковому запросу, затем (
Поставляет свою базу данных (не результаты) другим поисковым сервисам - HotBot, Lycos, AOL, Google, AskJeeves (см.также DirectHit и AskJeeves).
Присутствие ссылки на сайт увеличивает релевантность на AltaVista.
Результаты поиска DirectHit используются достаточно часто другими поисковыми сервисами. Так, HotBot показывает в своих результатах сначала первые 9 самых популярных (по тому же поисковому запросу, с точки зрения DirectHit) сайтов, в MSN стоит ссылка "Top 10 Most Popular Popular Sites for строка запроса", в Lycos первые 4 результата на первой странице "4 Web Sites selected based on user selection traffic".
Первая страница обычно совпадает с результатами поиска на DirecHit по тому же поисковому запросу. Есть непроверенная информация, что используются данные с Looksmart и Google для поиска документов.
Для того, чтобы зарегистрировать сайт в Looksmart необходимо оплатить просмотр сайта редактором каталога. За просмотр в течение 8 недель - 149$, в течение 2 деловых дней (business days) - 299$. Бесплатно ресурсы больше не регистрируются (больше двух лет).
Выдает результаты поиска, исходя из базы ODP, но сортируя их своим алгоритмом. После результатов из базы ODP выдает результаты поиска по базе Inktomi, тоже обработанные своим алгоритмом.
Этот обзор не является полным и законченным, возможны, например, обратные взаимодействия рассмотренных систем - подтвердить или опровергнуть это пока не удалось.
Для наглядности необходимо составить схему взаимодействия крупнейших международных поисковых систем - (см. приложенную схему).
Вывод о практическом применении.
Таким образом, анализируя все вышесказанное по схеме взаимодействия международных поисковых систем, можно определить основные стратегические поисковые базы, появление в которых сильно увеличивает вероятность высоких позиций в большинстве больших международных поисковых систем (на схеме обведены красным).
Обозначения:
Такими "стратегическими центрами" являются:Данная статья не претендует на абсолютную истинность, но надеюсь, сможет помочь кому-нибудь в выборе стратегии захвата ключевых позиций в наиболее значимых поисковых системах.