История поисковиков Yandex, Rambler, Google #4608

История Yandex Предыстория История компании «Яндекс» восходит к 1990 году, когда в компании «Аркадия», возглавляемой Аркадием Борковским и Аркадием Воложем, начались разработки поискового программного обеспечения. Сайт «Яndex» появился в Интернете в 1996 году, после того как руководством CompTek и разработчиками системы было принято решение о дальнейшем развитии поисковых технологий, ориентированных на широкую аудиторию пользователей Интернета. За два года работ были созданы две информационно-поисковые системы — Международная Классификация Изобретений, 4 и 5 редакция, а также Классификатор Товаров и Услуг. И до сих пор, особенно по весне, в CompTek обращаются изобретатели-одиночки в надежде на появление новых редакций. Обе системы работали под DOS и позволяли проводить поиск, выбирая слова из заданного словаря, с использованием стандартных логических операторов. В 1993 году «Аркадия» стала подразделением CompTek. 1993–1994 годы в результате его сотрудничества с лабораторией Ю. Д. Апресяна (Институт Проблем Передачи Информации РАН) программные технологии были существенно усовершенствованы. В частности, словарь, обеспечивающий поиск с учетом морфологии русского языка, занимал всего 300Кб, то есть целиком грузился в оперативную память и работал очень быстро. С этого момента пользователь мог задавать в запросе любые формы слов. На основе новой технологии в 1994 году был создан «Библейский компьютерный справочник» (информационно-поисковая система, обеспечивающая работу с Синодальным переводом Ветхого и Нового Заветов). В 1995 году стартовал проект «Академическое издание классиков на CD ROM», разрабатываемый совместно с НТЦ «Информрегистр» и ИМЛИ им. М.Горького РАН при поддержке Роскоминформа. Для этого проекта была создана универсальная технология «Аргонавт», которая включала как средства разметки и отображения текстов, так и средства навигации, а так же различные поиски — и текстовые, и атрибутные. На основе этой технологии вышло 3 издания – справочник стандартов «Информ – Норматив», электронное научное издание «А.С. Грибоедов» и «Пушкин. Электронный фонд русской классической литературы». Также был создан словарь языка Грибоедова. В начале 1996 года был разработан алгоритм построения гипотез. Отныне морфологический разбор перестал быть привязан к словарю — если какого-либо слова в словаре нет, то находятся наиболее похожие на него словарные слова и по ним строится модель словоизменения. В это время Интернет в России только начинался... Новая история (до Yandex.Ru) Летом 1996 года руководство CompTek и разработчики поисковой системы пришли к выводу, что развитие самой технологии важнее и интереснее, чем создание прикладных продуктов на базе поиска. Исследования рынка показали своевременность и большие перспективы поисковых технологий. Тогда в Интернете и появился «Яndex». Слово «Яndex» придумал за несколько лет до этого один из основных и старейших разработчиков поискового механизма. «Яndex» означает «Языковой index», или, если по-английски, «Yandex» — «Yet Another indexer». За 4 года публичного существования Яndex возникли и другие толкования. Например, если в слове «Index» перевести с английского первую букву («I» — «Я»), получится «Яndex». На выставке Netcom'96, 18 октября 1996 года, CompTek анонсировал первые продукты серии Яndex (Яndex.Site, Яndex.Dict). Яndex.Site — поиск по своему сайту — сейчас установлен на сотнях серверов Рунета. Яndex.Dict, морфологическое расширение запроса, используется до сих пор для, например, передачи запроса на AltaVista, хотя сегодня это уже не так актуально — AltaVista индексирует русский Интернет гораздо хуже, чем русские поисковые машины. Через полгода появился Яndex.CD — поиск документов на CD ROM, а затем Яndex.Lib — полнофункциональная библиотека Яndex для встраивания в различные приложения и базы данных. Еще через полгода стало очевидно, что ничто не отделяет CompTek от создания собственной глобальной поисковой машины. Объем Рунета составлял тогда всего несколько гигабайт. Осенью 1997 года был открыт Yandex.Ru. Необходимость поддерживать работу Yandex.Ru в условиях больших объемов (200 Гб текстов) и больших нагрузок (несколько запросов в секунду) ведет к оптимизации алгоритмов, которые потом используются и в других продуктах Яndex. Новейшая история Yandex.Ru Официально поисковая машина Yandex.Ru была анонсирована 23 сентября 1997 года на выставке Softool. Основными отличительными чертами Yandex.Ru на тот момент были проверка уникальности документов (исключение копий в разных кодировках), а также ключевые свойства поискового ядра Яndex, а именно: учет морфологии русского языка (в том числе и поиск по точной словоформе), поиск с учетом расстояния (в том числе в пределах абзаца, точное словосочетание), и тщательно разработанный алгоритм оценки релевантности (соответствия ответа запросу), учитывающий не только количество слов запроса, найденных в тексте, но и "контрастность" слова (его относительную частоту для данного документа), расстояние между словами, и положение слова в документе. Чуть позже в разделе «Сказки» (наблюдения за содержанием русского Интернета) появилась первая сказка Рунета — «Web – гуманизм или чернуха?». А в разделе «Числа» — первая оценка объема Рунета, 5 тысяч серверов и 4Гб текстов. Через два месяца, в ноябре 1997 года, был реализован естественно-языковый запрос. Отныне к Yandex.Ru можно обращаться просто «по-русски», задавать длинные запросы, например: «где купить компьютер», «генетически модифицированные продукты» или «коды международной телефонной связи» и получать точные ответы. Средняя длина запроса в Yandex.Ru сейчас — 2,7 слова. В 1997 году она составляла 1,2 слова, тогда пользователи поисковых машин были приучены к телеграфному стилю. В 1998 году на Yandex.Ru появилась возможность «найти похожий документ», список найденных серверов, поиск в заданном диапазоне дат и сортировка результатов поиска по времени последнего изменения. За этот год «объем» Русского Интернета удвоился, что привело к необходимости оптимизации поисковых механизмов. И тогда, и сейчас (при объеме в 200 Гб) скорость поиска на Yandex.Ru — доли секунды. За 1999 год Рунет вырос на порядок, как в объемах текстов, так и в количестве пользователей. Это был год бурного развития и для Yandex.Ru. Новый поисковый робот позволил оптимизировать и ускорить обход сайтов Рунета. Сегодня поисковая база Yandex.Ru вдвое больше, чем у ближайших конкурентов. Новый робот позволил предоставить пользователям новые возможности – поиск по разным зонам текста (заголовкам, ссылкам, аннотациям, адресам, подписям к картинкам), ограничение поиска на группу сайтов, поиск по ссылкам и изображениям, а также выделять документы на русском языке. Появился поиск в категориях каталога и впервые в Рунете было введено понятие «индекс цитирования» — количество ресурсов, ссылающихся на данный. В течение всего года продолжалась работа по количественному и качественному анализу Рунета. Был открыт НИНИ-индекс (индекс «Непостоянства Интересов Населения Интернет»), показывающий динамику изменения интересов пользователей Интернета. Открылся поисковый Форум и новый сервис — подписка на запрос, то есть можно оставить свой запрос на Yandex.Ru и регулярно получать по электронной почте информацию о появлении новых и/или измененных документов, соответствующих этому запросу. К началу учебного года был открыт «Семейный Яndex», фильтрация результатов поиска от мата и порнографии. ====================================================== История Rambler Название Рамблер происходит от английского Rambler, что в переводе означает "Бродяга". Очень удачное название, учитывая, что в "далеком" 1996 году, Интернет в России только начинал развиваться. Тогда не было еще ни одного поисковика - Рамблер оказался первопроходцем. В 1991 году в маленьком подмосковном научном городке Пущино появилась группа единомышленников вдохновленных только что появившейся коммуникационной средой Интернет, активно занимающаяся внедрением сетевых технологий в бизнес среду. Через пять лет, в 1996 году, программист Дмитрий Крюков написал здесь же, в Подмосковье, первую уникальную российскую поисковую программу, которая сразу же была запущена в эксплуатацию. Первая российская поисковая система, располагающаяся по неизменному адресу Rambler.ru, впервые заявила о себе пользователям сети, став ориентиром в многообразном и запутанном мире Интернета. Со временем небольшая группа энтузиастов переросла в крупный Интернет-холдинг, объединивший в себе усилия и работу ведущих квалифицированных специалистов. Роль Рамблера в развитии российского Интернета и рынка интернет-рекламы Стремительное развитие мощнейшего российского ресурса происходило в тесной связи с ростом аудитории пользователей Интернета, привлекающей к себе внимание крупных рекламодателей. Интернет на ряду с традиционными СМИ позволял эффективно продвигать товары и услуги крупным компаниям-производителям. В формирующемся российском рынке интернет-рекламы молодой и энергичной команде Рамблера предстояло занять ведущие позиции. 3 марта 1997 года заработала рейтинговая система Rambler's Top100 (top100.rambler.ru), которая с момента своего существования и по сей день считается лучшим классификатором российского Интернета и пользуется репутацией независимого арбитра российского интернет-рынка. На основе данных Top100 принимаются решения о планировании медиа-кампаний в Сети и по развитию интернет-ресурсов, а также формируются такие индикаторы рынка, как индексы активности и охвата аудитории. В том же году на конкурсе "Золотая паутина" информационно-поисковая система Рамблер была отмечена первым призом в номинации "Лучший коммерческий проект года". Действительно, компания Рамблер по праву считается первой крупной рекламной площадкой российского Интернета и стоит у истоков классического сетевого рекламного бизнеса. Нынешняя позиция Рамблера в российском Интернет и на рынке интернет-рекламы В настоящий момент Интернет-холдинг Rambler несмотря на обострившуюся конкуренцию по-прежнему уверенно сохраняет лидирующие позиции крупнейшей рекламной площадки. Рамблер - это комплексный информационный сервис, охватывающий практически весь российский интернет. Рамблер - самый популярный в российском интернете портал, объединивший поисковую систему, рейтинг-классификатор, а также ряд бесплатных сервисов и информационных проектов. В состав интернет-холдинга входят портал Рамблер, новостная интернет-газета Лента.ру, медицинский сайт Doctor.ru, онлайновый клуб родителей Mama.ru, картографический сервис NaKarte.ru, телекоммуникационное подразделение "Рамблер Телеком". Рамблер активно развивается, расширяя количество сервисов и информационных ресурсов. В настоящее время в недрах компании формируется уникальный интерактивный телевизионный канал Rambler ТелеСеть, который с 1 января 2003 года начинает вещание в России, странах Балтии и СНГ. Также осуществляется работа по разработке и внедрению передовых рекламных технологий, призванных повысить эффективность онлайновых кампаний, отвечающих растущим требованиям рынка и запросам рекламодателей. =============================================== История Google Что такое Google? Google - это игра со словом googol (гугол). Гугол - это 1 со ста нулями. Во вселенной не существует гугол чего-нибудь. Так создатели Google хотели дать понять, что цель компании - создать бесконечно огромную базу данных для поиска. Основатели Компанию Google основали двое аспирантов Стэндфордского университета: Ларри Пейдж (Larry Page) и Сергей Брин (Sergey Brin). Их задачей бал поиск необходимой информации в массивном наборе данных. К 1996 году Ларри и Сергей начали сотрудничество на поисковом сервере BackRub, который анализировал так называемые "обратные ссылки" (back links), т.е. количество ссылок в Интернете, ведущих на данный сайт. Год спустя их уникальный подход анализировать "обратные ссылки" приобрел репутацию среди тех, кто видел его в действии. Слух о новой технологии поиска быстро распространился по всему Интернету. До первой половины 1998 года Ларри и Сергей продолжали совершенствовать своей технологии. Преследуя свою цель (создать огромнейшую поисковую базу данных), они купили дисков общим объемом в терабайт (1024 гигабайт) и начали обустраивать первый центр данных Google в общежитии в комнате Ларри. Тем временем Сергей организовал деятельность делового центра и стал обращаться к потенциальным партнерам, готовым запатентовать новую технологию поиска. Среди таких партнеров был друг Ларри и Сергея, основатель Yahoo Дэвид Фило (David Filo). Именно он посоветовал Ларри и Сергею запустить свой собственный поисковый сервер. Старт К сентябрю 1998 года, собрав инвестиций на $1,000,000, Ларри и Сергей зарегистрировали как юридическое лицо Google Inc. Их первый офис был открыт 7 сентября этого же года в парке Menlo (Menlo Park), в Калифорнии (California). Также открытие офиса способствовало найму на работу в новую компанию первого служащего. Им стал Крейг Сильверстоун (Craig Silverstein), являющийся сегодня директором технологий Google. Еще в бета-версии Google.com обрабатывал 10,000 запросов в день. Пресса обратила внимание на релевантные результаты поиска. Появились публикации в USA Today и Le Monde, расхваливающие работу Google. В декабре журнал PC назвал Google одним из 100 лучших web-сайтов и поисковых систем 1998 года. Google становился более известным в мире. Полноценный поиск К февралю 1999 года офис Google переехал на Университетское Авеню (University Avenue) в Пало Альто (Palo Alto). Гугл уже обрабатывал до 500,000 запросов в день. Red Hat стал первым коммерческим клиентом, обязав Google поставить на часть серверов операционную систему с открытым исходным кодом Linux. После пополнения Google новыми сотрудниками стало очевидно, что в нынешнем офисе очень мало места. Проблема была решена после перемещения в текущий штаб Google, находящийся в Mountain View, Калифорния. Google продолжал привлекать внимание и клиентов, и пользователей, и прессы. AOL/Netscape выбрал Google в качестве своего поискового сервиса и помог преодолеть рубеж 3 миллиона поисковых запросов в день. Стало ясно - Google развивается. То, что прежде было научно-исследовательской работой в колледже, теперь стало настоящей компанией, предоставляющей необходимый сервис. 21 сентября 1999 года приставку beta убрали с web-сайта. Google продолжал расширяться. Итальянский портал Virgilio, как и ведущий онлайновый справочник Великобритании Virgin Net (Сетевая Девственница), стал клиентом Google. Поток признаний, состоящий из награды за новаторство в развитии сетевых приложений (Technical Excellence Award for Innovation in Web Application Development) от журнала PC и включения в несколько списков "лучший из". Кульминацией стало появление Google в десятке лучших кибернетических технологий за 1999 год от журнала Time. Новаторство Сотрудники Google сделали множество усовершенствований к поисковому серверу: добавили Google Каталог (Google Directory), основанный на проекте Открытого Каталога Нетскейпа (Netscape's Open Directory Project), и возможность поиска через беспроводные устройства. Также Google ввел десять языковых версий для пользователей, предпочитающих искать на родном языке. Широкая привлекательность поиска Google стала очевидна, когда в мае 2000 года сайт получил Webby Award и награду Народный Выбор (People's Voice Award) за технические достижения. В своей речи Ларри и Сергей сказали всего пять слов: "Мы любим вас, пользователи Google!" ("We love you, Google users!"). В последующем месяце Google официально стал самым большим поисковым сервером в мире, проиндексировав миллиард страниц. 26 июня Google и Yahoo! объявили о сотрудничестве, которое укрепило репутацию компании. Теперь Google отвечал на 18 миллионов запросов в день. В последовавшем месяце ведение совместных дел было объявлено на всех направлениях. Два портала добавили поиск Google на свои сайты: ведущий китайский портал NetEase и портал NEC's BIGLOBE в Японии. Для привлечения малого бизнеса к рекламированию по ключевым словам Google создал AdWords. В конце 2000 года, чтобы дать пользователям возможность поиска из любой точки Сети, Google ввел Google Toolbar. Это нововведение позволяло искать через Google, не заходя на его сайт. Google Toolbar оказалась очень популярна и с того времени была загружена миллионами пользователей. 2000-ый год закончился, Google уже обрабатывал более 100 миллионов запросов в день. Помня о своих академических корнях, Google начал предлагать бесплатные услуги поиска школам, университетам и другим образовательным учреждениям во всем мире. В феврале Google начал трудную задачу по преобразованию наибольшего в Интернете архива Usenet в поисковый формат. Google проиндексировал свыше 500 миллионов сообщений, оставленных за эти годы на досках Usenet. Глобальная аудитория Google росла и появилась возможность по сохраненным поисковым запросам составить Дух Времени Google (Google Zeitgeist) - снимок желаний человечества. Дух Времени Google отражает изменения наших интересов. Поскольку поисковые способности приумножились, финансовое состояние компании стало более солидным. К началу четвертого квартала 2001 года Google объявил о самоокупаемости. Информация без границ Круг друзей Google продолжал расширяться. Соглашение с Lycos Корея принесло поиск Google азиатским пользователям Интернета. В октябре сотрудничество с Universo Online (UOL) сделало Google главным поисковым сервером Латинской Америки. Новые торговые офисы были открыты в Гамбурге (Hamburg) и Токио (Tokyo) для удовлетворения растущего международного интереса в рекламных программах Google. Интерфейс Google также развился, предоставив пользователям возможность поиска на 26 различных языках. Тем временем поисковый сервер Google учился индексировать ряд новых типов файлов. В декабре вышла бета-версия расширенного поиска по картинкам (обычный поиск начался еще летом с индексом в 250 миллионов изображений). Также был запущен бета-поиск по каталогу Google, который дал возможность искать и просматривать в более, чем 1,100 каталогах "Товары почтой", доступные ранее только в печати. Декабрь также принес другое известие: индекс Google достиг 3-х миллиардов доступных для поиска документов. В конце года, в соответствии с Духом Времени, Google представил картину поиска за 2001 год. Продолжение истории Любовь к Google со стороны технологического общества (инженеров, программистов, вебмастеров) отразилась в феврале 2002 года, когда Google взял верх во многих номинациях 2001 Search Engine Watch Awards. На нем сообщество вебмастеров отдало призовое место Google за Выдающийся Поисковый Сервис (Outstanding Search Service), Лучший Поисковый Сервер по Изображениям (Best Image Search Engine), Лучший Дизайн (Best Design), Наиболее Дружелюбная Поисковая Система для Вебмастера (Most Webmaster Friendly Search Engine), и Лучший Поиск Будущего (Best Search Feature). Чтобы помочь решить ресурсоемкие научные задачи, Google использует неактивные промежутки на компьютерах пользователей, установивших Google Toolbar. Таким образом, некоммерческая научно-исследовательская работа Стэндфордского университета Folding@home, в которой, используя ресурсы миллионов компьютеров, анализируется структура белков глаза для улучшенного лечения множества болезней. В феврале 2002 была преображена рекламная система AdWords, получив широкую известность в мире. В сентябре в бета-версии были запущены Новости Google, предоставляющие доступ 4,500 ведущим новостным источникам со всего света. В тестовом режиме в декабре 2002 запущена служба Froogle, помогающая пользователям найти нужный продукт. Froogle перерывает миллионы релевантных сайтов и представляет пользователям множество источников со специфичным продуктом, отображая к нему картинки и цены. Цель компании по-прежнему остается неизменной: сделать доступной всю информацию в мире.