Определение прокси

Определение прокси (проверка на прокси, proxy checking) — условное название совокупности технических и социальных методов, направленных на определение факта наличия работающего прокси-сервера на определенном IP-адресе. Как правило, предназначается для выявления соответствия между пользователями, либо автоматической блокировке «неправильных» IP-адресов. Большая часть методов направлена на определение наличия открытых прокси.

Методика

Основные методы включают в себя:
автоматические сканирование типичных для прокси-серверов портов (например, 8080) и анализ ответа сервера, попытка соединиться через свой браузер на найденный порт предполагаемого открытого прокси; для проведения подобных проверок в автоматическом режиме есть онлайн-сервисы, называемые proxy checker’ами, позволяющими проверить несколько IP-адресов; возможность подобной проверки присутствует в ряде программного обеспечения, однако в некоторых случаях использование может создать проблемы, т. к. правилами провайдеров может быть запрещено сканирование портов как потенциально опасное действие;
проверка публичных и приватных черных списков открытых прокси, выходных узлов сети Tor и т. п.
проверка выдачи поисковых систем по запросу, содержащему IP-адрес или IP-адрес + слово «proxy» — для многих открытых прокси-серверов такой запрос может выдать ссылку на публичный прокси-список;
проверка WHOIS-информации IP-адреса: использование русскоязычным пользователем адреса Бразилии или Китая может свидетельствовать о том, что этот IP-адрес на самом деле является прокси-сервером. Как правило, к прокси приравниваются также адреса, зарегистрированные на хостинг-провайдеров, которые не выдаются простым пользователям провайдеров, даже если на них не обнаруживается открытый прокси;
отправка запросов к провайдерам с просьбой проверить наличие прокси-сервера на определенном IP-адресе;
использование специального кода на Java, делающего прямые запросы с IP-адреса клиента на определенный URL, позволяющие сопоставить прокси и реальный IP-адреса;
анализ логов веб-сервера, в котором в силу несовершенности и уязвимостей в некоторых веб-прокси могут записываться реальные IP-адреса клиентов.

Как определить тип прокси
 

Обмен информацией в Internet осуществляется по модели «клиент-сервер». Клиент посылает запрос (какие файлы ему нужны), а сервер посылает ответ (запрошенные файлы). Для тесного взаимодействия (так сказать, «полного взаимопонимания») между клиентом и сервером клиент посылает дополнительную информацию о себе: версию и название операционной системы, конфигурацию браузера (включая название и номер версии Вашего браузера) и т.д. Эта информация может быть необходима серверу, чтобы знать какую web страницу предоставить клиенту: для разных конфигураций браузеров могут быть разные варианты web-страниц. Однако поскольку обычно web страницы не зависят от браузеров, имеет смысл эту информацию скрыть от web сервера.

Какая информация передается web серверу (эту информацию в основном передает браузер, однако часть информации добавляет от себя прокси сервер):
название и версия операционной системы
название и версия браузера
настройки браузера (разрешение экрана, глубина цвета, поддержка java / javascript, …)
IP адрес клиента (если используется proxy, то заменяется proxy сервером на IP proxy)
используется ли proxy сервер (если используется proxy, то IP клиента — это IP proxy) — добавляется proxy сервером
если используется proxy, то Ваш реальный IP адрес — добавляется proxy сервером
другая информация

Важнейшей частью этой информации (и «совершенно ненужной» web серверу) является информация о IP адресе и о факте использования proxy. Ведь используя Ваш IP, о Вас можно узнать очень многое:
страну, где Вы находитесь
город
название Вашего провайдера и его e-mail
Ваш физический адрес! (иногда)

Информация, передаваемая клиентом серверу, доступна для сервера в виде так называемых переменных окружения (environment variables). Каждая единица этой информации является значением какой-либо переменной. Если же какая-то часть информации не передается, то соответствующая ей переменная будет пустая (ее значение будет неопределенным).

Какие бывают переменные окружения:



REMOTE_ADDR — IP адрес клиента
HTTP_VIA — если не пустая, значит используется proxy. Значение — адрес (или несколько адресов) proxy сервера.
HTTP_X_FORWARDED_FOR — если не пустая, значит используется proxy. Значение — реальный IP адрес клиента (Ваш IP).
HTTP_ACCEPT_LANGUAGE — какой язык используется в браузере по умолчанию (на каком языке лучше отображать страницу)
HTTP_USER_AGENT — так называемый «агент пользователя». Для большинства браузеров это будет Mozilla. Кроме того, тут же указывается название и версия браузера (например MSIE 5.5) и операционная система (например Windows 98)
HTTP_HOST — имя web-сервера.

Здесь перечислена лишь малая часть переменных окружения. На самом деле их гораздо больше (DOCUMENT_ROOT, HTTP_ACCEPT_ENCODING, HTTP_CACHE_CONTROL, HTTP_CONNECTION, SERVER_ADDR, SERVER_SOFTWARE, SERVER_PROTOCOL, …) и их количество может зависить от конфигурации (настроек) как сервера, так и клиента.

Пример значений переменных:
REMOTE_ADDR = 194.85.1.1
HTTP_ACCEPT_LANGUAGE = ru
HTTP_USER_AGENT = Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)
HTTP_HOST = www.webserver.ru
HTTP_VIA = 194.85.1.1 (Squid/2.4.STABLE7)
HTTP_X_FORWARDED_FOR = 194.115.5.5

Анонимность при работе в Internet определяется тем, какие из переменных окружения «скрываются» от web сервера.
Для фильтрования передаваемой серверу информации существуют системы, называемые Firewall (брандмауэры). Proxy сервер также может выполнять (в определенной степени) роль Firewall, «удаляя» информацию о IP адресе клиента.

Если proxy сервер не используется, то переменные окружения выглядят следующим образом:

REMOTE_ADDR = Ваш IP
HTTP_VIA = не определена
HTTP_X_FORWARDED_FOR = не определена

По тому, какие переменные окружения подменяют / «скрывают» proxy серверы, существуют несколько видов proxy.
Прозрачные (обычные) proxy

Они не скрывают информацию о Вашем IP адресе:

REMOTE_ADDR = IP proxy
HTTP_VIA = IP или имя proxy (используется proxy сервер)
HTTP_X_FORWARDED_FOR = Ваш IP

Функцией таких proxy серверов не является повышение Вашей анонимности в Internet. Они предназначены для кэширования информации, организации совместного доступа в Internet нескольких компьютеров и т.д.
Анонимные proxy
Все proxy серверы, тем или иным способом скрывающие IP адрес клиента, называют анонимными. Хотя существуют несколько вариантов анонимных proxy, как правило, говоря «анонимный proxy сервер» имеют в виду их все, не различая подвиды.
простые анонимные proxy

Эти proxy серверы не скрывают того факта, что используется proxy, однако они подменяют Ваш IP на свой:

REMOTE_ADDR = IP proxy
HTTP_VIA = IP или имя proxy (используется proxy сервер)
HTTP_X_FORWARDED_FOR = IP proxy

Эти proxy наиболее распространены из всех видов анонимных proxy серверов.
искажающие proxy

Как и простые анонимные proxy серверы, эти proxy не скрывают того факта, что используется proxy сервер. Однако IP адрес клиента (Ваш) подменяется на другой (в общем случае произвольный, случайный) IP:

REMOTE_ADDR = IP proxy
HTTP_VIA = IP или имя proxy (используется proxy сервер)
HTTP_X_FORWARDED_FOR = случайный IP
элитные анонимные proxy

Эти proxy серверы также называют «сверх анонимные proxy», «high anonymous proxy». В отличие от других видов анонимных proxy серверов они скрывают факт использования proxy:

REMOTE_ADDR = IP proxy
HTTP_VIA = не определена
HTTP_X_FORWARDED_FOR = не определена

То есть значения этих переменных такие же, как и в ситуации, когда proxy не используется, за исключением очень важной «мелочи»: вместо Вашего IP адреса стоит IP адрес proxy сервера.
Резюме
В зависимости от целей, с которыми они создавались, существуют прозрачные и анонимные proxy. Однако учтите, что используя анонимный proxy, Вы скрываете от web сервера только Ваш IP, а вся остальная информация (о конфигурации браузера) остается доступной!