|
Для начала давайте определим, что такое бот. Компьютерные роботы - это программы, которые автоматически выполняют повторяющиеся задания со скоростью недоступной для людей. Ботом называют практически все, с чем может взаимодействовать пользователь или программу, которая занимается сбором данных. Поисковики используют спайдеров (пауков), которые занимаются поиском информации в сети. Это автоматические программы, которые обращаются к веб-страницам, так же как и обычные пользователи с помощью браузеров. В дополнение к чтению содержания веб-страниц, с целью их индексации, они также запоминают и записывают ссылки.
Поисковые системы состоят из трех основных частей. Поисковые пауки идут по ссылкам, для того чтобы посетить страницы, которые еще не были проиндексированы или обновились со времени последнего посещения. Эти страницы, после прохода по ним бота индексируются и добавляются в индекс. Когда Вы ищете информацию, используя одну из основных поисковых систем, Вы на самом деле ищете не во всей сети, а в индексе контента, который достаточно грубо и часто с опозданием предоставляет Вам содержание сети. Третьей частью поисковой системы является поисковый интерфейс и программа определения релевантности. Для каждого поискового запроса поисковые системы, как правило, выполняют следующую последовательность действий:
- Принимают поисковый запрос и проверяют его на содержание специфических команд, а также проверяют его на ошибки и в случае обнаружения последних предлагают правильный или более популярный запрос
- Проверяют, соответствует ли запрос вертикальным поисковым базам данных (поиск по новостям или продуктам) и в случае совпадения, располагают вертикальные результаты рядом с основными.
- Собирают список страницы из органического поиска. Эти результаты располагаются в зависимости от содержания страницы, а также от показателя индекса цитирования.
- Запрашивают список соответствующих рекламных объявлений, для того чтобы расположить его рядом с результатами.
Андрей Бродер, автор Таксономии поиска в сети, утверждает, что большинство поисковых запросов, условно, можно разделить на три категории:
- информационные - поиск информации по определенной теме;
- транзакционные - совершение покупок, скачивание файлов, или какое-либо другие взаимодействие с результатами поиска;
- навигационные - запрос на конкретный URL.
Большинство поисковых систем предлагают расширенную форма поиска (с помощью нее можно задавать формат поиска) и вертикальный поиск по базам данных (искать более структурировано или в случае ограничения поиска среди надежных документов).
|
|
