[BrEw]

Ik ben klant bij Telenet (BE) en via mijn account pagina kan ik indien nodig poorten forwarden en firewall regels toevoegen aan mijn modem/router combi. Zoiets zou bij KPN toch ook moeten kunnen?

[Toulon7559]

Na de routergrade staat de uitgaande firewall automatisch ingesteld op niveau ‘Middel’ met bijpassende vinkjes voor functies & poorten.
Op zich kun je ook in de KPN-ExperiaboxV10 als Gebruiker via de router-webpagina via keuze 'Aangepast' handmatig selectief poorten naar eigen keuze openen en sluiten:
zal voor andere routers en accounts niet anders zijn.
Moet je (zonder uitleg van de provider) wel weten wat het betekent ........

Waarneming 04&05Februari2025 + 27Mei2025:
Bij ExperiaboxV10~V12 bij setup 'Aangepast' voor de uitgaande firewall tijdelijk, bewust openzetten van poort 21 geeft inderdaad weer FTP-verkeer.
Maar lijkt niet van toepassing voor alle toepassingen, en experimenteren met de ‘Aangepaste’ firewallsetup leidt tot vastlopen, dus twijfelachtige aanpak.
Zet je het niveau voor de firewallsetup handmatig bewust op ‘Standaard’, dan is alle uitgaande verkeer ‘ongeblokkeerd’:
over een verkeerde benaming gesproken ……
Beter een invulling zoeken die niet vertrouwt op afwijkende setup van de modem/routers.

[Toulon7559]

Er lijkt een werkbare oplossing gevonden voor data-doorvoer vanaf de HWA-hulpserver zonder FTP-toepassing, die geleidelijk wordt ingevoerd.
[Met dank aan Vincent Lammens voor de aangereikte hints en de sparring]
Voor de stations met AWEKAS, CWOP en Skyz als databron loopt nu weer de hele dataverwerkingsketen:
verzoek aan betreffende stationsbeheerders om mee te kijken of alles netjes verloopt.
Het (b)lijkt in de nieuwe opzet dat de timing van periodieke uitlezing in richting CWOP en Skyz soms kritischer is dan verwacht,
dus mogelijk nog wat correcties vereist om alle stations soepel te laten meelopen.

Bij de oplijning voor de stations met WRIJ en KNMI als databron zal ook de gelegenheid gebruikt worden om andere aspecten van de betreffende scripts bij te werken.

[Toulon7559]

Te vroeg gejuicht bij software-upgrade, want de HWA-hulpserver loopt (na geprogrammeerde reboot) niet meer sinds omstreeks 05:00uur vanmorgen.
De uitlezing voor geselecteerde (netwerk)stations bij AWEKAS, CWOP, KNMI, WRIJ en XWeather is daarmee stilgevallen.

Rollback naar de voorgaande configuratie helaas een hoofdpijndossier.
Het vraagt waarschijnlijk wel een paar dagen (of meer) voordat een alternatieve setup in werking komt.

Die hulpserver is momenteel een noodzakelijk kwaad om de invulling op gang te houden voor bovengenoemde stationstypen.
Voor uitlezing van CWOP-stations en van WRIJ-stations is voorlopig echt onvermijdbaar vanwege hun bronfile-opbouw:
daarvoor geen alternatieven in zicht .......

[Toulon7559]

Voor de HWA-hulpserver lijken de 'onderdelen' bij deeltesten weer te werken:
de samenbouw van het 'geheel online' is andere zaak,
want sommige netwerkstations komen niet spontaan terug en/of onstabiel haperend.
Afgezien van de API-aanroepen verschillen de diverse scripts niet veel,
loopt de uitlezing voor de stations bij KNMI en WRIJ onveranderd goed,
doet na de herstart de uitlezing van AWEKAS-stations ook weer mee,
maar voor stations bij CWOP en bij XWeather toch nu maar deels uitlezing of niet.
Verder zoeken kost tijd, en maken van een radicaal andere opzet al helemaal …..

Voor accountgebonden uitlezing is als prioriteit voor de getroffen netwerkstations een oplossing gemaakt:
voor gapfiller-uitlezing nog niet overal, maar dat is nice-to-have, oftewel later zorg.

Is dus nu een accountgebonden station uitgevallen, dan ligt het niet meer aan de hulpserverstoring,
maar moet de oorzaak en oplossing aan de stationkant worden gezocht & gevonden:
dat is verantwoordelijkheid van de betreffende stationsbeheerder/accounthouder!!!!

[Toulon7559]

De HWA-hulpserver is een Raspberry4B met Bookworm als O.S.
Denk je dat daarbovenop Python3.x een stevige basis is voor het hulpserverbedrijf voor draaien van alle vertaalscripts, maar helaas .......

Voor alle Python-scripts treedt (zonder herkenbare aanleiding) sinds gistermiddag de volgende foutmelding op (of vergelijkbaar)

Code: Selecteer alles

[size=85]Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/urllib3/connection.py", line 174, in _new_conn
    conn = connection.create_connection(
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/urllib3/util/connection.py", line 73, in create_connection
    for res in socket.getaddrinfo(host, port, family, socket.SOCK_STREAM):
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/socket.py", line 962, in getaddrinfo
    for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
socket.gaierror: [Errno -3] Temporary failure in name resolution

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 705, in urlopen
    httplib_response = self._make_request(
                       ^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 388, in _make_request
    self._validate_conn(conn)
  File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 1050, in _validate_conn
    conn.connect()
  File "/usr/lib/python3/dist-packages/urllib3/connection.py", line 358, in connect
    self.sock = conn = self._new_conn()
                       ^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/urllib3/connection.py", line 186, in _new_conn
    raise NewConnectionError(
urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPSConnection object at 0x7f9edf9510>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/requests/adapters.py", line 489, in send
    resp = conn.urlopen(
           ^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 789, in urlopen
    retries = retries.increment(
              ^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/urllib3/util/retry.py", line 594, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='data.api.xweather.com', port=443): Max retries exceeded with url: /conditions/EBBR?format=json&plimit=1&filter=1min&client_id=tJdJnGkJDbThC25ycIMBn&client_secret=nRmHmNZCA2jKm2BzoTpQm5wZYAPaBBaRzK6ryF1H (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7f9edf9510>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution'))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/pi/Python_scripts/URL_JSON_PWSW_to_HWA_EBBR_00_2184.py", line 212, in <module>
    page1 = requests.get(URL1)
            ^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/requests/api.py", line 73, in get
    return request("get", url, params=params, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/requests/api.py", line 59, in request
    return session.request(method=method, url=url, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/requests/sessions.py", line 587, in request
    resp = self.send(prep, **send_kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/requests/sessions.py", line 701, in send
    r = adapter.send(request, **kwargs)
        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3/dist-packages/requests/adapters.py", line 565, in send
    raise ConnectionError(e, request=request)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='data.api.xweather.com', port=443): Max retries exceeded with url: /conditions/EBBR?format=json&plimit=1&filter=1min&client_id=tJdJnGkJDbThC25ycIMBn&client_secret=nRmHmNZCA2jKm2BzoTpQm5wZYAPaBBaRzK6ryF1H (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7f9edf9510>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution'))
[/size]

.
Oftewel: Python3.x van de HWA-hulpserver is grondig ingestort en dat treft vooral de uitlezing van AWEKAS_API, XWeather_API, CWOP_API, Skyz_API en KNMI_API.
Tenzij ergens een ei van Columbus wordt gevonden, gaat het geruime tijd duren voordat alles in die sector weer op gang gaat komen .........

Ongestoorde werking voor 'conventionele' uitlezing naar de HWA-server
voor manieren 1. en 2. en voor uitlezing van de WU_API volgens manier 3., zoals dit forumbericht genoemd:
Wil je dus zekerheid van verbinding, blijf dan cq ga over naar een van die manieren van data-upload naar HWA.

Ook reden voor HWA-Moderatie&Beheer om met spoed
- het nieuwste script van VincentLammens voor Skyz-uitlezing> HWA-file te bekijken.
- de CustomUpload voor WU-protocol cq Ecowitt-protocol te gaan activeren volgens manier 4. van genoemd bericht.
Daaropvolgend actiepunt is de clones van de WU_API-uitlezing t.b.v. AWEKAS_API en XWeather_API, en installeren daarvan op de HWA-hoofdserver.

[vlammens]

Lijkt op een netwerkprobleem (DNS?)

[Toulon7559]

Betreffende Raspberry is vanuit het LAN met alle tools en scripts prima bereikbaar op een constant gebleven LAN-IP-adres.
Inderdaad lijken de oproepen naar externe internet-adressen een probleem voor sommige Python-scripts:
dat is juist het gekke, want ze hebben allemaal dezelfde basis-opbouw met alleen verschil in setup ..........

[vlammens]

Gewoon een opmerking (afgeleid van jouw error output): Heb jij per station een apart script ? (in plaats van 1 script per "bron")

minder scripts = minder "bewegende onderdelen" = makkelijker debuggen.

[Toulon7559]

Streven is per stationsoort uiteindelijk 1 gemeenschappelijk script met een setup-segment waarin de variaties.
Is alleen afgerond voor uitlezing WU-API met een PHP-script, dat op de HWA-hoofdserver draait.

Aanloop voor iedere stationsoort is op een HWA-hulpserver steeds een Python-script/station met gelijke kern,
met verschillende instelling voor stationsnamen, filenamen e.d. i.v.m. stations-identiteit.
Al blij als dat loopt, dus in de praktijk meestal geen energie/lust meer voor overgang naar 1 Python-script (of liever nog PHP-script) met 1 gemeenschappelijk setup-segment voor alle stations voor die stationsoort.
Bovenstaande lukt bovendien alleen als de API-files per stationsoort een constante layout hebben.

Voor de stations met veel inhoud-variatie of veel layout-variatie binnen hun API-files (zoals bij CWOP en bij KNMI) altijd een Python-script/station draaiend op een HWA-hulpserver.
Teveel moeite om scripts te gaan bouwen die kunnen omgaan met veel variatie, bijv. vanwege verschillende timing van stations, omdat stations wel/niet aanwezig zijn, sommige velden wel/niet aanwezig zijn cq wel/niet gevuld worden.
'Moeite-drempel' geldt ook voor reeksen met weinig stations en bijzonderheden in hun datafile, zoals voor WRIJ:
die komen nooit verder dan experimenteel stadium .......

P.S. Bewust waren eerdere opzetten voor HWA-hulpservers met Raspberries_&_BullsEye i.c.m. oudere versie Domoticz i.v.m. eenvoud & stabiliteit.
Na de vorige crash Raspberry&Bookworm gekozen om zonder capaciteitsgebrek te kunnen werken, maar al eerder 'verontrustende' ervaringen,
dus 'herstel' zal nu inhouden dat wordt teruggegrepen naar een legacy-opzet voor de cleanup voor de vervangende HWA-hulpserver.
Voor proefdraaien van PHP-scripts op internet gebruik ik een externe webserver, geen LAN-processor.
Dat moet kunnen voldoen zolang ik me nog bezig houdt met HWA.