[Toulon7559]

Voor een aantal stations in de HWA-stationslijst loopt de uitlezing uit andere netwerken via een hulpserver als voorportaal voor de HWA-server.
Techniek kan altijd falen, dus een instorting is op zich geen wonder, maar wel onaangename verrassing.
Betekent dat momenteel geen uitlezing is van stations uit AWEKAS, CWOP en Skyz,
en 'wankel' geworden voor WRIJ en KNMI.

Er is zicht op oorzaak (= mislukte PHP-upgrade) & remedie.
Waarde van backup & redundantie en complete basisdata is weer aangetoond ........

Status 16September2024:
Voor de stations bij AWEKAS, CWOP en Skyz is het uitlees- en vertaalwerk overgenomen door een andere hulpserver:
de tijd benodigd voor overzetten veroorzaakt helaas een gat in de dataregistraties,
wat invloed kan hebben op o.a. berekening van afgeleide neerslagmaandwaarden.
Uitlezing gericht op KNMI en WRIJ opgelost met terugval naar een oudere (minder correcte) opzet, die wel werkt,
maar dus nog upgrade nodig ….

[Toulon7559]

Helaas ....

Een poging tot 'verbetering' van het probleem genoemd in voorgaand bericht heeft niet het gewenste resultaat:
integendeel, de HWA-hulpserver is weer onderuitgegaan.
Kost zeker nog een weekend om een remedie te vinden om de API-uitlezing uit AWEKAS, CWOP, Skyz, KNMI en WRIJ met bijbehorende databewerking weer overeind te krijgen.

Echter
voor volledige data-invulling moet niet alleen deze hindernis worden opgeruimd,
maar ook dringend verzoek aan alle stationsbeheerders die zelf HWA-files maken om de generatie daarvan te controleren en eventueel te herstellen, want de HWA-server mist diverse stations.

[P.Maessen]

Duidelijk waarom er dus geen upload is
Succes
Mvgr Peter

[Toulon7559]

Aangezien de storing optreedt sinds 21 januari 2025 05:45uur,
zou de oorzaak dan misschien hier liggen?

Je modem krijgt de nieuwste KPN software. We voeren de update door in de nacht van 20 januari 2025 en 21 januari 2025 tussen 0.00 en 7.00 uur.

Hoofdrouter/modem = Experiabox_v10 van KPN.
Sinds die tijd kan de HWA-hulpserver nog wel inlezen, maar kan niet meer het resultaat wegzetten.
Het probleem lijkt te zitten in de synchronisate/upload-software en de route voor wegzetten van de HWA-files uit de HWA-hulpserver naar 'elders',
met 'elders' = de parkeerplocatie op internet waar de HWA-hoofdserver de HWA-files oppikt.
Totdat een betere configuratie is uitgewerkt, blijft het klungelen met FileZilla, WinSCP e.d. om handmatig, periodiek/adhoc een update te voorzien voor betroffen stations.

Aanpassing 27Januari2025:
2 berichten samengevoegd en ingedikt

[Toulon7559]

Dieper zoekend naar de oorzaak van de storing, lijkt het alsof in mijn netwerkconfiguratie het gebruik van (S)FTP nu een blokkade opwerpt voor data-overdracht naar een locatie buiten het netwerk (in mijn geval via KPN naar Strato e.v.):
zie dat optreden voor alle software die (S)FTP gebruikt, en ook ongeacht platform (= zowel Windows als Linux) binnen het LAN.
Teken daarvan is (o.a. door AllwaySync-software) melding van API-fout m.b.t. de bestemming,
en bijv. ook Meteobridge geeft fout voor FTP-upload naar HWA.
Dat sommige servers en firewalls FTP niet meer pruimen aangezien onveilig, dat kan ik billijken, maar SFTP is toch wel OK?
Mijn Experiabox v10 doet ook daarin mee (na eerdergenoemde upgrade?) en blokkeert poort 20-21, maar heeft poort 22 open.
Pragmatisch kun je voor FTP natuurlijk poort 21 in je router handmatig bewust toch ‘openzetten’,
maar beter helemaal vermijden, want vermoedelijk kun je er op wachten tot iemand verder onderweg of bij de eindbestemming de deur dichtgooit: dat deed Strato al eerder.
De http-aanpak van o.a. Meteobridge-outputs naar diverse andere bestemmingen werkt wel probleemloos.

Aangezien bovenstaande situatie zich mogelijk ontwikkelt in algehele uitsluiting voor FTP:
weet iemand een goedwerkende, alternatieve aanpak zonder (S)FTP voor bulk-upload van datafiles
(zoals in dit geval benodigd van een verzameling HWA-files uit de HWA-hulpserver)?
Zoals, ervaring en praktijkvoorbeelden hoe je in dit opzicht werkt met rsync of rclone?
Een Python-scriptje of PHP-scriptje voor upload van 1 enkele file zou al helpen om apart&snel kritische files op pad te krijgen.

[Ws Heinenoord]

....

Aangezien bovenstaande situatie zich mogelijk ontwikkelt in algehele blokkade voor FTP:
weet iemand een goedwerkende, alternatieve aanpak zonder (S)FTP voor bulk-upload van datafiles
(zoals in dit geval benodigd van een verzameling HWA-files uit de HWA-hulpserver)?
Zoals, ervaring en praktijkvoorbeelden hoe je in dit opzicht werkt met rsync of rclone?
Een Python-scriptje of PHP-scriptje voor upload van 1 enkele file zou ook al helpen om apart&snel kritische files op pad te krijgen.

Er wordt gevraagd naar een python scriptje voor het uploaden van een enkele file. Ik gebruik al een paar jaar probleemloos de volgende routine op een RPi:

Code: Selecteer alles

import ftplib

def publishToMyOwnSite(myFile):
    Statusupdate("Data\n upload in gang")
    try:
      Filename = myFile
      ftp = ftplib.FTP('mijnserver.nl')
      ftp.login('loginnaam', 'password')
      ftp.cwd('domains/mijnwebsite.nl/public_html')
      file = open(Filename, 'rb')
      ftp.storlines('STOR ' + Filename, file)
      file.close()
    except:
      print("Een fout opgetreden tijdens data upload")
      Statusupdate("geen wifi of\n serververbinding")
      time.sleep(4)

[Toulon7559]

Kan me vergissen, maar je script is pure ftp, heel vergelijkbaar met de constructie die ikzelf totvoorkort gebruikte,
en wat dus nu in mijn router vastloopt, omdat daar poort 21 dicht zit.

[vlammens]

Als ik het goed lees houd je router tegen dat jij een verbinding maakt met een externe FTP server ? Dat is best bizar.

[Toulon7559]

Niet alleen poort 20-21 is door KPN in de Experiabox bij voorbaat dichtgezet, maar nog veel meer.
En daar kom je dus pas achter als een storing optreedt, en je zonder info moet gaan zoeken …….
Zou me niet verwonderen als in andere merken routers ook zoiets zit (uiteraard ook ongedocumenteerd),
en bij automatische firmware-upgrade kun je dan onverhoeds het haasje zijn (QED door mijn ervaring).
De ‘tegenkant’ van de data-overdracht is in dit opzicht meestal ook maar matig beschreven, en kan zonder waarschuwing ook ‘spontaan’ wijzigen.
En dat mag de Gebruiker dan zelf oplossen …..

Toevoeging 31Januari2025:
Onderweg ontdekt dat je (soms sommige) poort-barrieres in het overdrachttraject kunt passeren als je VPN toepast.
Maar dat is meer symptoombestrijding dan een 'echte' oplossing, dus we zoeken verder ......

[Toulon7559]

Voorkeur voor een synch-constructie die rechtstreeks werkt vanaf een Raspberry in een LAN tot aan de WAN-eindbestemming (in dit geval in Strato).
Aangezien dataoverdracht naar Strato met ssh-instellingen via een Windows-PC wel handmatig goed werkt met Filezilla, met WinSCP en met CoreFTP,
ook maar eens heel pragmatisch kijken of dat niet is om te bouwen tot een periodieke synch-functie.

Iemand met een praktijkvoorbeeld voor zo'n toepassing van Filezilla, WinSCP of CoreFTP?