Squid

Squid ( — «кальмар») — программный пакет, реализующий функцию кэширующего прокси-сервера для протоколов HTTP, FTP, Gopher и (в случае соответствующих настроек) HTTPS. Разработан сообществом как программа с открытым исходным кодом (распространяется в соответствии с GNU GPL). Все запросы выполняет как один неблокируемый процесс ввода-вывода.

Используется в UNIX-подобных системах и в ОС семейства Windows NT. Имеет возможность взаимодействия с Active Directory Windows Server путём аутентификации через LDAP, что позволяет использовать разграничения доступа к интернет ресурсам пользователей, которые имеют учётные записи на Windows Server, также позволяет организовать «нарезку» интернет-трафика для различных пользователей.

Используется вместе с движками Mediawiki на wiki-хостингах. Использование кэширующего прокси-сервера для сайтов становится выгодно примерно с 2000 посетителей в сутки.

Совместимость 
Сервер Squid развивается в течение уже многих лет. Обеспечивает совместимость с большинством важнейших протоколов Интернета, а также с операционными системами:

 AIX
 BSDI
 FreeBSD
 Linux
 HP-UX
 IRIX
 Mac OS X
 Microsoft Windows
 NetBSD
 NeXTStep
 OSF и Digital Unix
 OpenBSD
 OS/2, включая EComStation и ArcaOS
 SCO Unix
 SunOS/Solaris

Squid используется и в системе Wikimedia.

Описание архитектуры

Списки контроля доступа 
Для контроля доступа к ресурсам и определения ряда действий используются списки контроля доступа (, acl). Каждый ACL может состоять из нескольких критериев (но только одного типа):
 адрес (сеть) источника запроса, цели запроса
 имя (доменное имя) источника запроса, имя цели запроса
 части URL запроса
 протокол
 порт (получателя, отправителя, самого squid’а)
 метод (POST или GET) при передаче данных по HTTP
 браузер (User-agent)
 ident (запрос к рабочей станции)
 Номер автономной системы отправителя/получателя (не для всех случаев)
 Авторизация на прокси-сервере (см. ниже)
 Номер соединения (чаще всего используется для ограничения количества соединений)
 SNMP
 сертификаты пользователя
 параметры запроса
 внешние обработчики

Идентификация 
Squid поддерживает несколько видов идентификации пользователей:
 По IP-адресу (или доменному имени узла)
 По переданным реквизитам (логин/пароль)
 По идентификатору пользовательского агента (браузера)

Для идентификации по логину/паролю возможно использовать:
 Обычные логин/пароль
 NTLM-авторизацию
 Внешние программы авторизации (определяющие формат авторизации)

Ограничение доступа для групп

Редиректоры 

Squid имеет возможность переписывать запрашиваемые URL. Squid может быть сконфигурирован так, чтобы пропускать входящие URL через процесс редиректора, выполняемого как внешний процесс (подобно dnsserver), который возвращает новый URL или пустую строку, обозначающую отсутствие изменений.

Редиректор не является стандартной частью пакета Squid. Редиректор предоставляет администратору контроль за передвижениями пользователей. Использование редиректора в сочетании с прозрачным проксированием даёт простой, но эффективный контроль над доступом к нежелательным ресурсам (например к развлекательным ресурсам и социальным сетям в корпоративной сети, порнографии). Программа-редиректор должна читать URL (один на строку) со стандартного входа и записывать изменённые URL или пустые строки на стандартный выход. Нужно заметить, что программа-редиректор не может использовать буферизированный ввод-вывод. Squid дописывает дополнительную информацию после URL, которую редиректор может использовать для принятия решения.

SAMS (SQUID Account Management System) — программное средство для администрирования доступа пользователей к прокси-серверу Squid.

На данный момент SAMS настраивает работу редиректоров:
 Редиректор SAMS — редиректор, работающий напрямую с базами SAMS
 SquidGuard — очень мощный редиректор.
 Стандартный SQUID — простейший редиректор, описанный в документации к SQUID

Виды редиректоров:

Редиректор SAMS
Написан специально для SQUID, напрямую использует информацию, содержащуюся в базе данных. Позволяет включить различное перенаправление запросов для пользователей (регулируется шаблонами пользователей). Редиректор SAMS обеспечивает:
 ограничение доступа пользователей к SQUID
 контроль времени доступа пользователей к SQUID
 ограничение доступа пользователей к запрещённым ресурсам (или доступ пользователей только к разрешённым ресурсам)
 перенаправление запросов пользователей к баннерам, счётчикам и т. п.

Редиректор SquidGuard
Мощный редиректор с большими возможностями. В состав редиректора входят списки баннерных, порно- и пр. доменов.
SAMS добавляет в файл конфигурации SquidGuard squidguard.conf настройки на списки запрещённых доменов и перенаправления доступа SAMS. Настройки на списки, идущие с SquidGuard, не изменяются и не удаляются.

При использовании редиректора SquidGuard в файл squid.conf заносятся acl, разрешающие доступ всех пользователей к SQUID. Ограничение доступа пользователей организовано средствами редиректора.

Стандартный SQUID
Этот редиректор описан в документации на SQUID. Написан на perl. Редиректор создаётся после подачи команды на реконфигурирование SQUID на основе списков перенаправления запросов. Быстрый и лёгкий редиректор, но не различает пользователей.

При использовании этого редиректора ограничение доступа пользователей по спискам запрета доступа организовано с использованием ACL SQUID.
При использовании редиректора SQUID или, если редиректор не используется вовсе, то существует возможность — при отключении пользователей за превышение трафика у них остаётся доступ к URL и IP-адресам, прописанным в списке «Локальные домены».

Ограничение максимальной скорости соединения 
Ограничение максимальной скорости получения пользователем (пользователями) в squid реализовано с помощью механизма  (дословно — «пулы задержки»). Механизм ограничения скорости работает по принципу бассейна (откуда и название pool (бассейн)), в который «втекает» и «вытекает» информация. Отдельные конфигурируемые подобным образом области памяти называются  (ведро). У ведра есть параметры: «ёмкость», «скорость наполнения». Если пользователь (пользователи) получают информацию на скорости ниже, чем «скорость наполнения», то ведро всегда полно. Если пользователь кратковременно поднимает скорость получения информации выше скорости наполнения, то до момента, пока ведро не пусто, он не ограничивается по скорости, как только ведро становится пустым, клиент получает информацию со скоростью наполнения ведра. В случае наличия групповых и индивидуальных вёдер они включаются последовательно.

Существует три типа (класса) delay pools:
 Единое ведро (, class 1) ограничение на общую потребляемую полосу для всей группы. (параметры: ёмкость бассейна, скорость наполнения).
 Единое ведро с автоматическим формированием индивидуальных вёдер (, class 2). Индивидуальные вёдра формируются из битов IP-адреса (c 25 по 32).
 Единое ведро, сетевые вёдра и индивидуальные вёдра (, class 3). Сетевое ведро формируется по битам 17-24 IP-адреса.

Для каждого ведра указываются два параметра: ёмкость и скорость наполнения. −1 означает «без ограничения».

Попадание пользователей в то или иное ведро определяется списками доступа к вёдрам, они просматриваются в порядке упоминания в файле конфигурации до первого совпадения. Пользователи, не попадающие ни в одно из вёдер, в скорости не ограничиваются.

Обратное кэширование 
Одной из особенностей squid является возможность работать в режиме обратного прокси (reverse proxy), также известного как «ускоритель» («HTTP accelerator»). В этом случае вместо кэширования запросов нескольких пользователей к множеству сайтов кешируются запросы множества пользователей к нескольким сайтам. В этом режиме принятый запрос проверяется на «динамичность» (нужно ли каждый раз обрабатывать запрос с нуля) и «возраст» (актуальны ли ещё данные). Если данные ещё актуальны и не поменялись, то запрос не передаётся серверу, а отдаётся из кеша squid’а. Таким образом существенно снижается нагрузка на серверы (например, в Википедии запросы к страницам кешируются, так как от просмотра их содержимое не меняется, при этом нагрузка на серверы существенно меньше — обработка запроса к кешу много проще, чем обработка запроса к базе данных SQL, обработка вики-разметки и формирование веб-страницы).

Кроме того, «обратный прокси» способен распределять запросы между несколькими серверами, балансируя нагрузку и/или обеспечивая отказоустойчивость, то есть фактически предоставляет функциональность, аналогичную кластеру.

Режим прозрачного прокси-сервера 

В сочетании с некоторыми межсетевыми экранами и маршрутизаторами squid может работать в режиме прозрачного прокси (). В этом режиме маршрутизатор вместо того, чтобы сразу пересылать HTTP-запросы пользователя HTTP-серверу в Интернете, перенаправляет их прокси-серверу, который может работать как на отдельном хосте, так и на самом маршрутизаторе. Прокси-сервер обрабатывает запрос (с возможной отдачей содержимого из кеша), это содержимое направляется к запросившему пользователю, для которого оно выглядит как «ответ» сервера, к которому адресовался запрос. Таким образом, пользователь может даже не знать, что все запросы и ответы прошли через прокси-сервер.

При таком подходе проксирования аутентификация не предусмотрена, так как прозрачность проксирования это и подразумевает.

Достоинства 
 Администратору прозрачного прокси-сервера не нужно настраивать каждую клиентскую машину для работы с прокси.

Недостатки 
 В режиме прозрачности не проксируются FTP- и HTTPS-запросы.

Для возможности проксирования в прозрачном режиме HTTPS-запросов необходимо собрать с поддержкой SslBump.

Примечания

Ссылки 
 squid-cache.org — домашняя страница проекта

Прокси-серверы
Свободное серверное программное обеспечение
Программное обеспечение для Linux
Программное обеспечение для macOS