[Toulon7559]

Eind van een jaar is tijd voor plannen maken.

Voor binnenhalen van stationsdata uit diverse databronnen naar de HWA-server zijn diverse constructies in gebruik:
- Databronnen zoals Skyz.be en MijnEigenweer.nl die direct uit de achtergrond HWA-files aanleveren, zijn natuurlijk ‘heel aangenaam’ voor de gebruikers en beheerders.
- De ‘traditionele’ opzet met webruimte als tussenparkeerplaats voor de HWA-file vraagt even DHZ-werk, maar werkt prima.
- De recentste toevoeging van HWA-CustomUpload is het andere eind van de schaal en werkt eenvoudig en robuust.
- Daartussen zit de constructie met scripts die op een hulpserver draaien als vertalers tussen een API en de HWA-server.
Voor WUnderground-API is er een PHP-scriptrealisatie in de HWA-hoofdserver, dat uit de WU-API de data binnenhaalt voor aangemelde, individuele stations:
equivalent moet mogelijk zijn voor AWEKAS-API en voor XWeather-API.
Voor die equivalenten nog geen urgentie, want er is een goedwerkende Python-scriptinvulling.
Argument voor overgang is wel dat scriptplaatsing in HWA-server toekomstgerichter is dan data-aanvoer via een hulpserver-op-afstand.
Uitlezing voor WRIJ en voor CWOP blijft 'exotisch' en uniek vanwege de datavorm.

De heroprichting van de interface met BMCB is aanleiding tegelijk de vergelijkbare interfaces met KNMI en RMI te bekijken.
Binnenhalen van de data van alle of geselecteerde stations uit o.a. KNMI, RMI en BMCB moet zonder noemenswaardige belasting zijn van die databronnen, en rekeninghoudend met de gepubliceerde geldigheidsmomenten voor de stationsdata.
Gedachte opzet daarvoor is vanaf het begin deze 2traps-aanpak:
1. periodiek uitlezen van de API's voor de ‘lange’ JSONfile van die databronnen, waarin alle data van de actieve stations van de betreffende organisatie, beschikbaar voor uitlezing.
Voorbeeld van zo'n JSONfile als resultaat van deze weblink van Buienradar.
2. daarna lokaal extraheren uit die 'lange' JSONfile van de gewenste, individuele stationsdatasets.

Stap 1. is geen probleem, maar voor Stap 2. is een script gewenst, dat dynamisch per organisatie kan omgaan met de variaties per stationsdataset,
want
- per organisatie verschilt de opbouw van de 'lange' JSON-file,
- niet alle stations zijn altijd aanwezig in die 'lange' JSONfile,
- niet ieder station heeft alle sensoren,
- niet alle aanwezige sensoren zijn altijd actief.

Voor Stap 2. wordt nu gewerkt met experimentele Python-scripts/station, afgestemd op de actuele configuratie van zo'n station,
en het is een oplossing buiten HWA-hoofdserver en HWAportal.
'Echte', toekomstgerichte realisatie bij voorkeur met 1 generiek PHP-script per organisatie,
passend binnen de opbouw van HWA-server en/of het HWAportal.
Voor die PHP-scripts opnieuw het wiel uitvinden kost tijd en veel try&error:
met goed basismateriaal meestal sneller bij een werkende constructie.
Heeft cq kent iemand een PHP-script dat individuele stationsdata uit de ‘lange’ JSON-files kan halen van de 3 genoemde organisaties,
rekeninghoudend met bovengenoemde mitsen&maren?
Ideaal resultaat van extractie =
dataset/station als KGV van sensordata,
met een default-invulling voor niet-actieve cq afwezige sensoren.

Compileren van een HWA-file o.i.d. als invoer voor de HWA-hoofdserver is daarna fluitje-van-een-cent .....
Voorbeelden van alle 'lange' JSONfiles zijn beschikbaar voor geïnteresseerden.