Algemeen forum voor discussie over de website
#76118
vlammens schreef: Vandaag, 08:42
Toulon7559 schreef: Gisteren, 17:33
de uitlezing van WU_API met PHP-script is echter zonder problemen ingevoegd, en voor vergelijkbare PHP-scripts voor bijv. de APIs van AWEKAS en XWeather zal het ook wel ooit gaan lukken, als vervanging van de huidige Python-scripts.
Is dit geen optie voor de Skyz->hwa koppeling, in plaats van de huidige omweg?
De WU koppeling gebruikt de API-code die iedere 'oplader" naar WU kan aanvragen.
De eigenaars-API staat toe om de eigen data terug te (laten) lezen en de forecast data op te halen
Dus als iemand "lid" wil worden van HWA maar geen website heeft, wordt de data opgehaald van WU gebruik makend van de gratis API-key. Die deelnemer meldt actief aan HWA dat hij/zij die API-key beschikbaar stelt aan HWA.

Ik heb de PHP code geschreven en getest en er waren 7 stations na 1 jaar die ervan gebruik maakten.

Als HWA van andere stations de data wil ophalen moeten ze een betaalde API-code gebruiken.
Dat is dus de nette manier.

Om de "lege vlekken" op te vullen met niet deelnemende WU-stations is er blikbaar geen geld beschikbaar.

Wim
#76119
Limieten zijn in princype niet van toepassing voor de Skyz->HWA koppeling. (HWA kan via de Skyz-API alle stations uitlezen die hun gegevens met HWA wensen te delen, zoals bijvoorbeeld het weerstation Nieuwvliet dat (via een grote omweg) word uitgelezen.

Alle puzzelstukken zijn er... Enkel kwestie van implementatie aan de HWA kant. Nu verloopt het via een best grote omweg via een hulpserver, die eerst de API-responses omzet naar HWA files...
#76120
De WU-uitlezing (gemaakt door Wim_vdKuil) is 1 PHP-script (draaiend op de HWA-hoofdserver) dat per aangewezen station de WU-API aanroept en dan onderweg een HWA-file maakt, zodat de HWA-hoofdserver een kant-en-klare hap krijgt aangeleverd.
Dat script werkt met de WU_ID en API-key bij HWAoor dat station aangemeld door de originele staionbeheerder.
Na aanmelding controleert Moderatie of HWA-account actief, of alle input functioneert,
en zorgt daarna voor aankoppelen aan de HWA-stationslijst.
Misschien is die controle conservatief, maar op die manier enige zekerheid dat een 'goedwerkend' station binnenkomt.
Is ook check op eenduidigheid van stationsnamen, kloppende geolocaties, e.d.


Voor gapfillen aanvullen met data uit betaalde APIs betekent dat nog meer inkomsten nodig zijn,
en dat staat dus haaks op de realisatie van de HWA-site, waar idereen zich nu al ergert aan de hoeveelheid reclame ........
Keerzijde is dat alleen aangevuld wordt met aangemelde stations, oftewel 'heel gering'.

Inderdaad zou het heel mooi zijn als ook voor de Skyz-API die WU-constructie vergelijkbaar gevolgd zou kunnen worden,
want dat is een kortere weg dan met die 'vertaling' in een hulpserver.

De actuele opzet is historisch gevormd.
Als er tonutoe bij behoeftevraag een nieuwe uitlezing gemaakt moest worden, dan is de eerste aanzet met mijn programmeerkennis een Python-script op de hulpserver als 'probeer-vertaler', met de hoop dat als vervolgstap ooit een variant van Wim's PHP-script kan worden gebouwd om het werk over te nemen als deel van de HWA-hoofdserver.
Die PHP-variant moet wel robuust getest zijn, want anders een risico voor Luc.
:-( Als je de enige moderator bent en ook je eigen meteospul aan de gang wil houden cq. verbeteren, enz., dan mist de tijd voor opschonen van de eerste aanzet, en voor uitwerken en afronden van die vervolgstap, dus daarom hebben de Python-vertalers voor o.a. AWEKAS, XWeather, KNMI en KMI op de hulpserver een lang leven, met hun eigenaardigheden en hikken .......
#76121
vlammens schreef: Vandaag, 10:57 Nu verloopt het via een best grote omweg via een hulpserver, die eerst de API-responses omzet naar HWA files...
Hoe krijgt Nieuwvliet (als voorbeeld) zijn data naar Skyz

Als dat via WU is kan dat natuurlijk beter direct vanuit het
1. HWA-server vraagt om bestand HWA.php voor dit station op de eigen of een tussen server.
2. HWA.php haalt gegevens op van WU en update hoog/laag als nodig
3. HWA.php antwoordt HWA server en bewaart antwoord als volgende aanroep niet succesvol is.

Of zoals het moest zijn:
Gewoon iedere 4 minuten via een cron het bestand HWA.txt aanmaken en het lezen overlaten aan de HWA-server als die tijd heeft.

Bij andere tussen-databases zoals AweKas / WOW / ?? kan dat allemaal ook. Toch?

Ik ben vooral benieuwd naar het aantal echte HWA-deelnemers. Er wordt naarstig ontwikkeld om van vele plaatsen data op te halen om de blinde vlekken in te vullen. Maar die stations hebben zich, denk ik, nooit bij HWA aangemeld?

Net zoals nu de Ecowitt "custom-upload" -> HWA.txt ook werkt maar wacht op echte gebruikers.

Waar zijn dan al die stations die deelnemer willen worden bij HWA?
Op de BNLWN-mesonet website die ik beheer zijn er 98 actieve stations.
Dat zijn allemaal stations die "ouderwets" een bestand beschikbaar moeten maken. > 10 verschillende formaten!
Helaas was er geen "custom-upload" toen deze scripts werden ontwikkeld.

Wim
#76122
Wim, e.a.

Het staat al verspreid over een heleboel andere forumberichten, maar hier even samengevat, welke actieve stations wel cq niet zijn aangemeld.

In de stationslijst zijn in het algemeen alle actieve stations zonder toegevoegd label het resultaat van aanmelding, of van een uitlezing-in-overleg.
Dat eerste is van toepassing voor alle 'gewone' stations, voor alle WU-uitlezingen en voor AWEKAS-uitlezingen.
Kan ook niet anders, want de aanmelder moet essentiele info inleveren voor aankoppelen.
Het tweede is van toepassing voor een hele reeks CWOP-stations:
heeft te maken met de opzet en gebruikseisen van CWOP.
Als je een station ziet met wel een label CWOP, dan is dat een ongevraagde gapfiller (dus geen ‘aanmelder’, vaak omdat geen contact gemaakt kan worden).
Skyz is momenteel vergelijkbaar met CWOP, maar met duidelijker opzet:
'geen label'= aangemeld met HWA-account, 'wel label' = op aanvraag van HWA door Skyz vrijgegeven.
Labels WRIJ, KNMI, KMI en PWSW zijn attributie-vereisten voor stations van die organisaties volgens hun gebruikseisen:
WRIJ is een 'aanmelder' voor al zijn stations, KNMI en KMI zijn toegankelijk via 'publieke' API.
PWSW is buitenbeentje, omdat je met een DevelopmentAccount heel legitiem ieder station uit hun lijsten ongevraagd mag&kan uitlezen, wat niet zo netjes is t.o.v. stationsbeheerders.
Daarom daar label, tenzij een echte aanmelding door betreffende stationsbeheerder.

Het merendeel (>300) van de stations op HWA's stationslijst is dus echt wel aangemeld:
de uitzonderingen zitten nu in Wallonie, vooral onderin provincie Luxemburg.

Heel vaak staat op de Info-pagina van een gelabeld station in het onderste vak een uitleg over het label.
#76123
wvdkuil schreef: Vandaag, 14:13
vlammens schreef: Vandaag, 10:57 Nu verloopt het via een best grote omweg via een hulpserver, die eerst de API-responses omzet naar HWA files...
Hoe krijgt Nieuwvliet (als voorbeeld) zijn data naar Skyz
Nieuwvliet (net als het grootste aandeel stations binnen skyz) stuurt gegevens rechtstreeks naar Skyz (“Custom Upload”). De rest komt via WU, en een klein deel via URL’s, en 4 stations via Netatmo.

Met de Skyz-API kan een eigenaar dan weer zijn eigen gegevens uitlezen (of, als ik het zo instel, op vraag ook andere stations, wat het geval is voor Skyz gebruikers die aangeven hun gegevens met HWA willen delen).

Dit is ook het geval voor mensen die vragen om bepaalde gegevens uit te lezen, zolang de stationseigenaar dit niet weigerd, sta ik de meeste aanvragen toe. (Ik weiger eigenlijk enkel commeriële projecten, of projecten die geen attributie plaatsen)

Ik vind het eigenlijk spijtig dat niet meer meteonets gegevens openstellen (hetzij geheel publiek, hetzij op aanvraag zoals Skyz), want het is als ze gedeeld en gebruikt kan worden door anderen dat de data pas echt nuttig is.
#76124
Toulon7559 schreef: Vandaag, 13:41 :-( Als je de enige moderator bent en ook je eigen meteospul aan de gang wil houden cq. verbeteren, enz., dan mist de tijd voor opschonen van de eerste aanpak, en voor uitwerken en afronden van die vervolgstap, dus daarom hebben de Python-vertalers voor o.a. AWEKAS, XWeather, KNMI en KMI op de hulpserver een lang leven, met hun eigenaardigheden en hikken .......
Ik moet toegeven dat ik het altijd spijtig heb gevonden dat de echte beheerder van HWA nog iemand anders is dan de Toulon7559, die toch de enige is die actief is op het forum.
#76125
wvdkuil schreef: Vandaag, 14:13
Als dat via WU is kan dat natuurlijk beter direct vanuit het
1. HWA-server vraagt om bestand HWA.php voor dit station op de eigen of een tussen server.
2. HWA.php haalt gegevens op van WU en update hoog/laag als nodig
3. HWA.php antwoordt HWA server en bewaart antwoord als volgende aanroep niet succesvol is.

Of zoals het moest zijn:
Gewoon iedere 4 minuten via een cron het bestand HWA.txt aanmaken en het lezen overlaten aan de HWA-server als die tijd heeft.
Hoe het in mijn ogen eigenlijk moet (en hoe ik het doe binnen Skyz:

1 uitleesfunctie die elke 5 minuten alle stations afgaat. Push stations worden opgeslagen in de databank, WU stations worden opgevraagd, en URL’s worden uitgelezen. Niet met tussenstappen, zoals een apart script aanroepen dat op zijn beurt weer een HWA-file uitspuwd, dat is feite hetzelfde als van de hulpserver uitlezen… 2 aparte stukken code ipv 1.