Что такое клоакинг? Почему его относят к методам поискового спама?

Термин клоакинг (cloaking) происходит от английского глагола to cloak — маскировать, прикрывать, прятать, скрывать. Клоакинг — это методика отображения роботу поисковой системы оптимизированной страницы, в отличие от страницы, которую увидит обычный пользователь.

Иногда страницы делают не просто оптимизированными, а в корне отличными от оригинальной. Например, выдают поисковому роботу страницу со списком популярных музыкальных композиций с расширением mp3, в то время как обычному пользователю предлагают посетить магазин музыкальных компакт-дисков. Таким методом в интернет-магазины компакт-дисков заманивают пользователей, которые искали в поисковой системы ссылки на свежие хиты в формате mp3.

Клоакинг реализуется с помощью программ и скриптов, выполняющихся на стороне веб-сервера. Серверные скрипты формируют выходные данные в зависимости от изменяющихся параметров: параметры в адресе запроса, доступные системные переменные веб-сервера и окружения, некоторые параметры запроса. По ряду данных можно определить от кого исходит запрос — от робота или обычного пользователя и сформировать для каждого отдельную результирующую страницу.

С первого взгляда может показаться, что клоакинг нельзя «отловить», ведь надо быть пользователем, чтобы увидеть обычную страницу, и роботом — чтобы увидеть оптимизированную версию страницы. Тем не менее есть возможность определить наличие клоакинга, не являясь при этом сотрудником поисковой системы.

Для определения робота поисковой системы есть две возможности:

Клоакинг по User-agent

Клоакинг по IP-адресу

При определении робота можно пользоваться одновременно двумя вышеописанными методами — сначала определять запрос из определенной сети адресов, сразу после чего выполнять проверку данных в User-agent.

Если не задаваться исключительной целью обмануть поисковую систему, метод формирования страницы в зависимости от некоторых параметров из запроса браузера может быть использован так сказать, во благо. Приведем несколько вариантов: выдача пользователю страницы на том языке, который указан в настройках его браузера, перенаправление пользователя на ближайшее зеркало сайта в зависимости от местонахождения пользователя, выдача версии страницы, корректно отображающейся в специфическом браузере пользователя и многое другое.

Отдельно следует отметить поисковую систему Google, которая при заходе пользователя на www.google.com, в зависимости от языковых и региональных настроек перенаправляет пользователя на соответствующую локализованную версию главной страницы.

При использовании клоакинга или методов, близких к нему, надо помнить, что поводом для бана сайта служит явная попытка обмана поисковой системы. Если же вы заботитесь о пользователе, забанить сайт за использование клоакинга не должны.

Еще надо отметить, что робот поисковой системы будет получать только одну из всех возможных версий документа. Например, при выдаче разных языковых версий, GoogleBot скорее всего получит англоязычную версию страницы и не догадается о русскоязычной, а робот Яндекса проиндексирует русскоязычную и не увидит остальных версий, если на них явно не сослаться.

В статье использованы материалы книги по оптимизации компании Ашманов и партнеры

Список вопросов