ProxHTTPSProxyMII: Reloaded

[vlad_s]

ryszardzonk
Yes, I use squid to transparently proxy. Here are all the configs:
privoxy

Code:

user-manual /usr/share/doc/privoxy/user-manual

confdir /etc/privoxy

logdir /var/log/privoxy
logfile logfile

# Действия и фильтры.
actionsfile match-all.action
actionsfile default.action
actionsfile adblock.action
actionsfile rpft.action
actionsfile antiban.action
actionsfile user.action
actionsfile network-set.action
actionsfile proxhttpsproxy.action

filterfile default.filter
filterfile rpft.filter
filterfile user.filter
filterfile proxhttpsproxy.filter

# Уровень отладки.
#debug     1 # Log the destination for each request Privoxy let through. See also debug 1024.
#debug     2 # show each connection status
#debug     4 # show I/O status
#debug     8 # show header parsing
#debug    16 # log all data written to the network
#debug    32 # debug force feature
#debug    64 # debug regular expression filters
#debug   128 # debug redirects
#debug   256 # debug GIF de-animation
#debug   512 # Common Log Format
#debug  1024 # Log the destination for requests Privoxy didn't let through, and the reason why.
#debug  1025 # Показать только прошедшие и блокированные запросы.
#debug  2048 # CGI user interface
#debug  4096 # Startup banner and warnings.
#debug  8192 # Non-fatal errors
#debug 32768 # log all data read from the network
#debug 65536 # Log the applying actions

# Слушать адрес и порт.
listen-address 192.168.2.1:8118
listen-address 127.0.0.1:8118

# Включить прокси, 0 - выключить.
toggle 1

# Вкл/выкл. прокси из web-настроек (http://config.privoxy.org)
enable-remote-toggle 1

# Управлять вкл/выкл. фильтрации посредством заголовков HTTP.
enable-remote-http-toggle 0

# Включает возможность редактирования действий и фильров из web-настроек.
enable-edit-actions 1

# Разрешить ли пользователю игнорировать блокировку и предлагать "пойти туда в любом случае".
enforce-blocks 0

# Максимальный размер буфера для фильтрации контента.
buffer-limit 4096

# Аутентификация через прокси.
enable-proxy-authentication-forwarding 0

# Количество повторов, если переадресация не удаётся.
forwarded-connect-retries 0

# Включить "прозрачный" режим прокси (так же нужно править таблицу nat цепочки PREROUTING в iptables после включения этой опции).
accept-intercepted-requests 0

# Должны ли запросы CGI страниц быть заблокированы или перенаправлены.
allow-cgi-request-crunching 0

# Может ли интерфейс CGI оставаться совместимым со сломанными HTTP клиентами.
split-large-forms 0

# Количество секунд, по истечении которого открытое соединение больше не будет использоваться повторно.
keep-alive-timeout 30

# Должны ли быть pipelined-запросы.
tolerate-pipelining 1

# Количество секунд, после которого сокет ждёт, если данные не получены.
socket-timeout 300

# Максимальное число подключений, если не задано, то 128.
max-client-connections 512

# Порядок сортировки заголовков перед их отправкой (умолчание none).
#client-header-order Host \
#   Accept \
#   Accept-Language \
#   Accept-Encoding \
#   Proxy-Connection \
#   Referer \
#   Cookie \
#   DNT \
#   If-Modified-Since \
#   Cache-Control \
#   Content-Length \
#   Content-Type

proxhttpsproxy

Code:

### The parent proxy has to support CONNECT method, if you want to proxy HTTPS requests
###
### Proxy setting applies to HTTPS requests only, as it is applied by the Rear Server
### HTTP requests are passed to and handled by Proxomitron, please set up Proxomitron for proxy

[GENERAL]
ProxAddr = http://localhost:8118
FrontPort = 8079
RearPort = 8081
# DefaultProxy = http://127.0.0.1:8118

# Proper values for LogLevel are ERROR, WARNING, INFO, DEBUG
# Default is INFO if unset
LogLevel = WARNING

# * matches everything
# ? matches any single character
# [seq] matches any character in seq
# [!seq] matches any character not in seq

[PROXY http://192.168.8.100:8888]
*sbrf.ru
*sberbank.ru
*sberbank.com
sbi.sberbank.ru

[PROXY http://127.0.0.1:8118]
#*
*.i2p
*.onion

[PROXY socks5://127.0.0.1:9050]
*.inbox.lv
*.linkedin.com

### Ignore SSL certificate verify, Use at your own risk!!!
### Proxy setting still effective
[SSL No-Verify]
192.168.2.1
home-router

[BLACKLIST]

### Bypass Proxomitron and the Rear Server, Proxy setting still effective
### SSL certificate verify will be done by the browser
[SSL Pass-Thru]
*.plex.direct
*.plex.tv
plex.tv
pypi.python.org
sls.update.microsoft.com
storeedgefd.dsx.mp.microsoft.com
settings-ssl.xboxlive.com
collections.md.mp.microsoft.com
paymentinstruments.mp.microsoft.com
musicdelivery-ssl.xboxlive.com
notepad-plus-plus.org

# Microsoft SmartScreen Filter Service
*.smartscreen.microsoft.com
urs.microsoft.com

# NoScript uses https://secure.informaction.com/ipecho to detect the WAN IP
# https://addons.mozilla.org/en-US/firefox/addon/noscript/privacy/
secure.informaction.com

### Bypass Proxomitron and the Rear Server, Proxy setting still effective
### This section supports URL matching
[BYPASS URL]
http://www.abc.com/*
https://bcd.net/*
*://feedly.com/*
*.zip
*.rar
*.exe
*.pdf

squid

Code:

# Доступ для локальной сети.
acl localnet src 192.168.0.0/16
acl localnet src fc00::/7
acl localnet src fe80::/64
acl globalIPv6 src ipv6

# Список портов, к которым разрешен доступ через прокси-сервер по протоколу HTTP.
acl ftp proto FTP
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
#acl directlist url_regex -i "/etc/squid/directlist"

# Устанавливает TTL(время жизни) кэшированных сообщений об ошибках(например, "connection refused" или "404 Not Found").
negative_ttl 0 seconds

# Squid использует тот же dns сервер, что и клиенты.
dns_nameservers 192.168.2.1

# Устраняет ошибку "WARNING! Your cache is running out of filedescriptors" и возможно "read/write failure: (32) Broken pipe".
max_filedescriptors 8192

# Включить режим строгой проверки соответствия имени хоста, указанного через Host, и доменного имени.
#host_verify_strict on

# Сделать squid анонимным.
via off
forwarded_for off
follow_x_forwarded_for deny all
request_header_access cache-control deny all

# Запретить доступ к портам, отсутствующим в списке выше.
http_access deny !Safe_ports

# Запретить метод CONNECT не на SSL-порт.
http_access deny CONNECT !SSL_ports

# Разрешить только локальное управление кэшем.
http_access allow localhost manager
http_access deny manager

# Разрешить протокол IPv6.
http_access allow globalIPv6

# Доступ для клиентов локальной сети.
http_access allow localnet

# Доступ для сервера.
http_access allow localhost

# Всем остальным доступ запретить (deny).
http_access deny all

# Порт 3128 для не прозрацного прокси, для прозрачного http 3129, для https 3130.
http_port 3128
http_port 3129 intercept
https_port 3130 intercept ssl-bump connection-auth=off options=ALL cert=/etc/squid/squidCA.pem

# Принимаем сертификаты, даже если они не прошли проверку.
sslproxy_flags DONT_VERIFY_PEER

# Отключить проверку сертификатов на сервере.
sslproxy_cert_error allow all

# Укажем правило со списком блокируемых ресурсов (в файле домены вида .domain.com).
# Если закомментировать #1, #2, #3, то squid (а так же вся цепочка проксей) не будет смотреть SNI.
#acl blocked ssl::server_name "/etc/squid/blocklist" #1
acl step1 at_step SslBump1
ssl_bump peek step1

# Терминируем соединение, если клиент заходит на запрещенный ресурс.
#ssl_bump terminate blocked #2
#ssl_bump splice all #3

# Путь сохранения дампов аварийного завершения.
coredump_dir /var/spool/squid

refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320

# Кэш в памями и максимальный объем кэшированного объекта.
cache_mem 4096 MB
maximum_object_size_in_memory 4096 KB

# Размер дискового кэша и его расположение.
cache_dir ufs /var/spool/squid 2048 16 256

# Максимальный размер объекта в дисковом кэше.
maximum_object_size 4 MB

# Место хранения логов и ротация.
access_log daemon:/var/log/squid/access.log squid
logfile_rotate 10
debug_options ALL,1 85,0

# Вывод страниц ошибок на русском языке.
error_directory /usr/share/squid/errors/ru

# Вышестоящий http-прокси.
cache_peer 127.0.0.1 parent 8118 0 no-query no-digest
cache_peer_access 127.0.0.1 deny CONNECT

# Вышестоящий https-прокси.
cache_peer 127.0.0.2 parent 8079 0 no-query
cache_peer_access 127.0.0.2 allow CONNECT

# Разрешить (allow), запретить (deny) прямое подключение (always-direct) и для чего (ftp и др.).
always_direct allow ftp
always_direct deny all

# Не выполнять прямое подключение (never_direct), разрешить (allow) всем (all).
never_direct allow all
cache_effective_user proxy
cache_effective_group proxy

Note the selection in the config squid. It can not access the upstream proxy by the same type, so there are two 127.0.0.1 and 127.0.0.2. HTTP CONNECT method must be disabled for port 8118, and for 8079 it is allowed, so I managed to separate the different traffic.
Rules iptables:

Code:

*nat
-A PREROUTING -i br0 -p tcp -m tcp --dport 80 -j REDIRECT --to-ports 3129
-A PREROUTING -i br0 -p tcp -m tcp --dport 443 -j REDIRECT --to-ports 3130

Works for IPv4 and IPv6. Where br0 is the local interface.