Privoxy with ProxHTTPSProxyMII v1.3a on linux

[vlad_s]

Hi! I am trying to run in Ubuntu Server 16.04 and see the message "Failed to start":

Code:

File "/usr/lib/python3.5/configparser.py", line 956, in __getitem__
raise KeyError (key)
KeyError: 'GENERAL'

"GENERAL" section looks like this:

Code:

[GENERAL]
ProxAddr = http://localhost:8081
FrontPort = 8079
RearPort = 8081

Thank you!

[Faxopita]

(Jan. 22, 2017 05:31 PM)vlad_s Wrote:  

Code:

[GENERAL]
ProxAddr = http://localhost:8081
FrontPort = 8079
RearPort = 8081

Nah! Use port 8118 for localhost in ProxAddr.

[vlad_s]

I have not installed Privoxy, simply run ProxHTTPSProxyMII, to make sure that it works. Change port 8081 to 8118 the situation has not changed, the error is the same.

[cattleyavns]

(Jan. 24, 2017 04:47 PM)vlad_s Wrote:  I have not installed Privoxy, simply run ProxHTTPSProxyMII, to make sure that it works. Change port 8081 to 8118 the situation has not changed, the error is the same.

Can you reinstall or update your Ubuntu Server's Python, as far as I know Prox only works with Python 3.x, so if your Ubuntu Server (most likely) uses Python 2.7, that might be the problem.

[vlad_s]

In fact, I run it under Python3, in the log can be seen:

Code:

File "/usr/lib/python3.5/configparser.py", line 956, in __getitem__
raise KeyError (key)
KeyError: 'GENERAL'

Run string:

Code:

/usr/bin/python3 /opt/ProxHTTPSProxyMII/ProxHTTPSProxy.py

[cattleyavns]

(Jan. 25, 2017 06:19 PM)vlad_s Wrote:  In fact, I run it under Python3, in the log can be seen:

Code:

File "/usr/lib/python3.5/configparser.py", line 956, in __getitem__
raise KeyError (key)
KeyError: 'GENERAL'

Run string:

Code:

/usr/bin/python3 /opt/ProxHTTPSProxyMII/ProxHTTPSProxy.py

Ok, so I think "Working Directory" is the problem, can you "cd" to your ProxHTTPSProxy folder and "/usr/bin/python3 ProxHTTPSProxy.py".

Look like Python cannot find config.ini, because it use Python 3 folder as "Working Directory". Just imagine:

Normally Python will try to open "/opt/ProxHTTPSProxyMII/config.ini", but in your case, it is "/usr/bin/config.ini" which is not exist.

[vlad_s]

Yes, you are absolutely right. I introduced you to the misconception that start line has been written to run in systemd, that's its contents (proxhttpsproxy.service):

Code:

[Unit]
Description=SSL Helper Program
After=network.target

[Service]
Type=idle
ExecStart=/usr/bin/python3 /opt/ProxHTTPSProxyMII/ProxHTTPSProxy.py
Restart=always

[Install]
WantedBy=multi-user.target

Starting the service "systemctl start proxhttpsproxy.service". I will continue to watch. Thank you!

[vlad_s]

Problem solved, I added:

Code:

WorkingDirectory=/opt/ProxHTTPSProxyMII/

The resulting file-service:

Code:

[Unit]
Description=SSL Helper Program
After=network.target

[Service]
Type=idle
WorkingDirectory=/opt/ProxHTTPSProxyMII/
ExecStart=/usr/bin/python3 /opt/ProxHTTPSProxyMII/ProxHTTPSProxy.py
Restart=always

[Install]
WantedBy=multi-user.target

Run successfully:

Code:

[email protected]:/etc/systemd/system# systemctl start proxhttpsproxy.service
[email protected]:/etc/systemd/system# systemctl status proxhttpsproxy.service
● proxhttpsproxy.service - SSL Helper Program
   Loaded: loaded (/etc/systemd/system/proxhttpsproxy.service; disabled; vendor preset: enabled)
   Active: active (running) since Чт 2017-01-26 20:42:07 MSK; 2s ago
Main PID: 1855 (python3)
    Tasks: 4
   Memory: 17.9M
      CPU: 186ms
   CGroup: /system.slice/proxhttpsproxy.service
           └─1855 /usr/bin/python3 /opt/ProxHTTPSProxyMII/ProxHTTPSProxy.py

янв 26 20:42:07 ubuntu systemd[1]: Started SSL Helper Program.
янв 26 20:42:07 ubuntu python3[1855]: ============================================================================
янв 26 20:42:07 ubuntu python3[1855]: ProxHTTPSProxyMII v1.3a (urllib3/1.20)
янв 26 20:42:07 ubuntu python3[1855]:   FrontServer  : localhost:8079
янв 26 20:42:07 ubuntu python3[1855]:   RearServer   : localhost:8081
янв 26 20:42:07 ubuntu python3[1855]:   ParentServer : None
янв 26 20:42:07 ubuntu python3[1855]:   Proxomitron  : http://localhost:8081
янв 26 20:42:07 ubuntu python3[1855]: ============================================================================

[vlad_s]

Installed on Ubuntu Server 16.04. For three days everything is working properly, version 1.4. What was the problem in the case of Debian, I do not know. That conclusion pip3 list:

Code:

pip3 list
cffi (1.9.1)
chardet (2.3.0)
colorama (0.3.7)
command-not-found (0.3)
cryptography (1.7.2)
idna (2.2)
language-selector (0.1)
pip (9.0.1)
pyasn1 (0.1.9)
pycparser (2.17)
pycurl (7.43.0)
pygobject (3.20.0)
pyOpenSSL (16.2.0)
PySocks (1.6.5)
python-apt (1.1.0b1)
python-debian (0.1.27)
python-systemd (231)
requests (2.9.1)
setuptools (20.7.0)
six (1.10.0)
ssh-import-id (5.5)
ufw (0.35)
unattended-upgrades (0.1)
urllib3 (1.20)
wheel (0.29.0)

So I managed to make a transparent proxy on the basis of squid, just so now up and running.
A few questions. Do ipv6 support? Watched Developer Console Firefox, traffic filtering works for ipv6. Another question is whether the log can be conducted in a separate file? Now is conducted in a common log syslog, not very convenient.

[vlad_s]

Hello! Can I use free certificates from Let's Encrypt?

[kik0s]

(Mar. 05, 2017 03:14 PM)vlad_s Wrote:  Hello! Can I use free certificates from Let's Encrypt?

dor what do you want to use it? you need a root certificate since proxyhttps resigns with it. you wont get one since all the root certificates are well protected

if your browser cries about the cert: just install the CA.crt from proxhttps to your browser/system and it should work flawlessly BUT if the ca is not trusted (bas cert, outdated and so on) you wont know because every site will be signed with that Ca.crt and you are trusting or your browser.

[vlad_s]

kik0s
Это всё ясно. Хотелось использовать "настоящий" сертификат, чтоб нормально работали устройства, где нельзя добавить самоподписанный сертификат. Но похоже с Let's Encrypt это не получится.

[kik0s]

(Mar. 25, 2017 11:41 AM)vlad_s Wrote:  kik0s
Это всё ясно. Хотелось использовать "настоящий" сертификат, чтоб нормально работали устройства, где нельзя добавить самоподписанный сертификат. Но похоже с Let's Encrypt это не получится.

я думаю ты пр приложения на телефонах? ты только можешь установить сертификат которым пользуется proxhttps. настоящий рутовскийты не как не достанешь. они конкретно замешены. пару месяцов назад похачили wosign и украли у них их рутовский сертификат и его сразу все системы стали показывать что он не доверен. это первая проблема. вторая проблема это certificate pining. в приложения/софт вставлен сразу сертефикат и он сравнивается. если что то не так то приложение/софт говорит что облом где то или просто не работает. с одной стороны думаю понимаешь что это хорошо ну с другой для блокировки это жесть. третия проблема это hsts. тут proxhttps не как не поможет.

например: приложение facebook на ios proxhttps не как не расшифрует. так что те сайты/приложенте/софтина которая неработает тебе надо ставит в белый лист. смотри логи proxhttps и там где происходит error то значет что то то не так с сертом.

вообщем если честно то спасиба гуглю (из за https и из за них все на это кинулись) юзать прокси для фильтровки это полная жесть. proxhttps помогает в данный момент ну если дело пойдёт на hsts то мы все в обломе. так что яне знаю как долго это дело вообще ещё будет нормально работать. жопа полная

[vlad_s]

kik0s
Не только для телефона, для телевизора например. Гм, в чём проблема с сертификатом? Какой дают Let's Encrypt например? Его ведь хватает для правильной работы всех устройств и главное он бесплатен. Я почитал условия использования их сертификата, подходит это только для web-сервера. Для прокси не подходит, либо я что-то не понял. Проблемы именно из-за самоподписанного сертификата, если его добавить нельзя.
По поводу https, судя по тенденции в мире рано или поздно все (или почти все) перейдут на него. На счёт hsts не совсем понял, та же wikipedia с описанием hsts и который у них действует (из прочтения той статьи) нормально работает через proxhttps. Или я что-то опять не понял? У меня только одна проблема была с google chrome на одном сайте, chrome ни в какую не заходил на тот сайт, предупреждая что сертификат не правильный, хотя другие браузеры нормально работали, да и сам chrome даже на гугловских сайтах нормально работал, правда при этом он всегда пишет что сертификат всё равно от гугла. На других сайтах как положено ProxHTTPSProxy CA.
Это не оно (hsts)?

[kik0s]

(Mar. 26, 2017 09:42 AM)vlad_s Wrote:  kik0s
Не только для телефона, для телевизора например. Гм, в чём проблема с сертификатом? Какой дают Let's Encrypt например? Его ведь хватает для правильной работы всех устройств и главное он бесплатен. Я почитал условия использования их сертификата, подходит это только для web-сервера. Для прокси не подходит, либо я что-то не понял. Проблемы именно из-за самоподписанного сертификата, если его добавить нельзя.
По поводу https, судя по тенденции в мире рано или поздно все (или почти все) перейдут на него. На счёт hsts не совсем понял, та же wikipedia с описанием hsts и который у них действует (из прочтения той статьи) нормально работает через proxhttps. Или я что-то опять не понял? У меня только одна проблема была с google chrome на одном сайте, chrome ни в какую не заходил на тот сайт, предупреждая что сертификат не правильный, хотя другие браузеры нормально работали, да и сам chrome даже на гугловских сайтах нормально работал, правда при этом он всегда пишет что сертификат всё равно от гугла. На других сайтах как положено ProxHTTPSProxy CA.
Это не оно (hsts)?

чтоб hsts работало это нужен суппорт в браузере. видимо chrome это только умеет. ну тат я тоже не очень в понятие. ну это дело скоре везде будет.

про серт: что тебе надо это root сертификат которому доверают твои устройства. айфон например подгружает сертификаты при старте системы. что там точно я тож не знаю но там что то подгружается. по идеи можно обманут систему и поменять днс этого адресса на локальный. повесит веб-сервер и туда положить твой серт/ключ (почитать надо как это точно работает) и таой телевизор итд. скачает этот серт и будет думать что всё ок. ну я не знаю про это. будет ли или нет. если серт там как то хардкорно вставлен и не как не подряжается только если апдейт системы тогда тут надо ломать как то и вставлять серт.

последний шанс но не очень эффективно это блокировка по хостам. для этого не нужен привокси хотя оно это тож сможет.