Поисковые системы современного стандарта: WebCrawler, Lycos, Infoseek, AltaVista, Inktomi

Большинство поисковых систем используют в сокращенном виде участие редакторов для оценки сайтов, но в основном они полагаются на входящие ссылки на сайт для его оценки. На самом деле некоторые алгоритмы настолько полагаются на ссылки, что совсем ограничивают участие редакторов. Таким образом, некоторые из поисковиков используют в своем алгоритме входящие ссылки как голоса редакторов в пользу того или иного сайта. Веб-директории же составляются вручную, а не с помощью алгоритмов. Директории гораздо более дорогое удовольствие из-за постоянной необходимости участия редакторов для создания списков сайтов и их поддержки.

Брайан Пинкертон из университета Вашингтон выпустил WebCrawler 20 апреля 1994. Это был первый бот, который индексировал страницы полностью. Вскоре он стал таким популярным, что в дневное время к нему нельзя было достучаться. В это время AOL купил его и использовал в своей сети. Затем в 1997, Excite выкупил WebCrawler, а AOL начал использовать Excite, для того чтобы улучшить свой NetFind. WebCrawler стал первым из серии подобных сервисов. В течение одного года вслед за ним открылись Lycos, Infoseek и OpenText.

Lycos был следующей серьезной разработкой в технологии поиска, созданной в университете Карнеги Мелон в июле 1994. Майкл Малдин был ответственен за этот поисковик и по сей день остается ведущим специалистом в Lycos Inc. 20 июля 1994 года Lycos открылся с каталогом в 54,000 документов. И в дополнение к этому результаты, которые он предоставлял, были еще ранжированными, а также он учитывал приставки и приблизительное совпадение. Но главным отличием Lycos был постоянно пополняемый каталог: к ноябрю 1996 было проиндексировано 60 миллионов документов - больше, чем у любой другой поисковой системы того времени.

Infoseek также был основан в 1994, в январе. Он не были по-настоящему инновационным, но нем был ряд полезных дополнений. Одним из таких популярных дополнений была возможность добавления своей страницы в реальном времени.

AltaVista запустилась в том же месяце и привнесла в поиск многое из того, что после нее стало своего рода стандартом. У нее была практически неограниченная на то время пропускная способность, она была первой поисковой системой, в которой было возможно формулировать запросы на естественном языке, а также формулировать сложные запросы. Пользователям было разрешено добавлять или удалять их собственные URL в течение 24 часов. Они даже позволяли посмотреть количество входящих ссылок. AltaVista также предлагала много советов и рекомендаций по поиску. Увы, вследствие боязни манипулирования результатами и портальной ориентированности AltaVista утратила часть своей популярности, а к тому моменту стали набирать популярность Google и Inktomi. Это привело к тому, что 18 февраля 2003 года Overture выразила намерение купить AltaVista за 80 миллионов акциями и 60 миллионов наличными.

Корпорация Inktomi появилась 20 мая 1996 вместе со своим поисковиком Hotbot. Его создателями были две команды из калифорнийского университета. Когда сайт появился, то он быстро стал популярным. В октябре 2001 Дэнни Салливан написал статью под названием "База данных спам сайтов Inktomi открыта для публичного пользования", в которой рассказывалось о том, как Inktomi случайно сделал свою базу данных спам сайтов, которая к тому времени насчитывала уже около 1 миллиона URL, доступной для всеобщего использования. Хотя Inktomi были пионерами в области платного включения, эта бизнес-модель не была настолько эффективна как оплата за клик у Overture. Они не смогли изобрести прибыльной бизнес-модели и поэтому в декабре 2003 года продались Yahoo! за приблизительно $235 миллионов.

Статьи об истории поиска