[Toulon7559]

Voor gebruikers van o.a. PWS_Dashboard e.d. zeker geen probleem, maar andere stationsbeheerders worstelen soms met de voorwaarde voor upload naar de HWA-server
dat voor 'ophalen van de HWA-file' een webruimte moet worden geregeld, die via internet toegankelijk is voor de HWA-server.

Denkend aan Wim's PM-opmerking in dit bericht over 'http-upload direct naar de HWA-server' zou een oplossing kunnen bestaan uit voor alle bestaande scripts toevoeging van een stukje script dat een http-put-functie uitvoert, waarmee als instelbaar alternatief de HWA-file direct kan worden verstuurd naar de HWA-server.
Als variatie in dat beeld misschien een '2trap-oplossing' maken, waarbij het 'originele' script de HWA-file 'lokaal' parkeert (i.p.v. in webruimte) en een apart/extra script daarna de http-upload uitvoert? Die variatie spaart de moeite om de huidige scripts te moeten aanpassen.
Wie heeft/kent een script dat zo'n 'kunstje' kan uitvoeren? (= File lokaal oppakken, uitbreiden met 'kop' incl. login-info, en extern versturen via http-put)

Of heeft iemand een nog eenvoudiger idee?

[wvdkuil]

Voor gebruikers van o.a. PWS_Dashboard e.d. zeker geen probleem, maar andere stationsbeheerders worstelen soms met de voorwaarde voor upload naar de HWA-server
dat voor 'ophalen van de HWA-file' een webruimte moet worden geregeld, die via internet toegankelijk is voor de HWA-server.
.
Denkend aan Wim's PM-opmerking in dit bericht over 'http-upload direct naar de HWA-server' zou een oplossing kunnen bestaan uit voor alle bestaande scripts toevoeging van een stukje script dat een http-put-functie uitvoert, waarmee als instelbaar alternatief de HWA-file direct kan worden verstuurd naar de HWA-server.
Als variatie in dat beeld misschien een '2trap-oplossing' maken, waarbij het 'originele' script de HWA-file 'lokaal' parkeert (i.p.v. in webruimte) en een apart/extra script daarna de http-upload uitvoert? Die variatie spaart de moeite om de huidige scripts te moeten aanpassen.
Wie heeft/kent een script dat zo'n 'kunstje' kan uitvoeren? (= File lokaal oppakken, uitbreiden met 'kop' incl. login-info, en extern versturen via http-put)
.
Of heeft iemand een nog eenvoudiger idee?

.
Toelichting:
De HWA-server (net zoals andere oudere "mesonet"-servers) ondersteunt alleen het "zelf bestand ophalen" principe. De server kijkt (wanneer het hem uit komt) of er gegevens zijn en haalt die van een gebruikers website zelf op.
.
Waarom: 99% van de "mesonet"-servers ondersteunt per definitie geen FTP upload voor honderden gebruikers omdat

1. dat veel computer capaciteit vraagt (= een duurdere server) door het ingewikkelde "heen en weer " praten en veel overhead-data uitwisselen tussen FTP server en FTP client.
2. FTP veel risico's op inbraak pogingen en dus malware oplevert
3. DDOS aanvallen of aanvallen met zeer grote / veel bestanden tegelijk niet denkbeeldig zijn.

.
Moderne "mesonets" zoals WU, WOW, WeatherCloud en vele anderen ondersteunen daarom alleen HTTP "upload".
Een bestand wordt aangeboden aan de server als 1 (lange) variabele text-string via een HTTP-GET of HTTP-POST opdracht.
De overhead is bijna nul. Informatie die of te snel / vaak of zonder juiste key in het begin van de data werd aangeboden, wordt niet opgeslagen en een eventuele teller blokkeert ip-adressen automatisch.
De HWA server zal dan iedere 5 minuten de bewaarde data aflopen, eventuele controles uitvoeren en de data doorgeven aan het huidige maar aangepaste "op haal script".
.
Alle moderne weer-programma's ondersteunen al een HTTP-upload. Anders kunnen ze bijvoorbeeld niet opladen naar WU of WOW e.d. Denk aan WeatherDisplay, Meteobridge, Weewx e.a.
Vaak ondersteunen ze HTTP oplaad ook met een zelf te definiëren indeling van het bestand.
Dus daar zit m.i. niet het probleem.
.
Mijn vraag: Wat is de doelgroep en hoe groot is die doelgroep
100% van de huidige HWA deelnemers gebruiken het huidige HWA-ophaal protocol.
De HWA server haalt het bestand op wat of door het weer-programma of door een website script is klaar gezet.
.
Gebruikers die dus geen website hebben moeten dat bestand op een andere manier kunnen maken. Maar dan hebben ze wel "iets" nodig. Bijvoorbeeld een Meteobridge. Dat "iets" kost ook geld aan apparaat en licenties.
Maar waar gebruiken ze dan dat "iets" voor?
En waarom zouden ze dan de moeite doen om naar HWA op te laden?
En als het om zeer kleine aantallen nieuwe deelnemers gaat, wie betaalt dat dan?
.
Wim

[Toulon7559]

Gebruikers die dus geen website hebben moeten dat bestand op een andere manier kunnen maken. Maar dan hebben ze wel "iets" nodig. Bijvoorbeeld een Meteobridge. Dat "iets" kost ook geld aan apparaat en licenties.
Maar waar gebruiken ze dan dat "iets" voor?
En waarom zouden ze dan de moeite doen om naar HWA op te laden?
En als het om zeer kleine aantallen nieuwe deelnemers gaat, wie betaalt dat dan?

Inderdaad.
Maar hoe trek je nieuwe gebruikers als de huidige HWA-manier van upload blijkbaar voor sommigen 'te moeilijk' is,
en er niet een eenvoudig 'iets' is als alternatief?

[T.J.]

Nu ben ik geen expert op het gebied van data verwerking etc
Maar vele weerstations laden hun data naar WU ook de meeste wifi stations hebben die mogelijkheid om direkt naar WU te uploaden
Mijn ecowitt view app gebruikt de WU data omdat ik mijn ecowitt station nog niet in bezit heb, mijn data is dus te bekijken dmv mijn WU id
Ook PWS gebruikt mijn WU id om mijn data te oogsten
Misschien is het mogelijk om WU data te gebruiken voor HWA?
Dus de WU id gebruiken en daar data van ophengelen naar HWA?
Hoeven de meeste weeramateurs geen dure meteobridge oid aan te schaffen een wifi station zou genoeg zijn

Ik weet niet of dit technisch mogelijk is

Het is maar een idee....

[Toulon7559]

Tjeerd,

Technisch lijkt zoiets zeker mogelijk en m.i. is dat een weg die bijv. PWSDashboard o.a. gebruikt om WU-data binnen te harken (maar door WimvdKuil te bevestigen).
Zou je daarmee het equivalent van de HWA-file willen maken, dan heb je in de uitlees-API van WU daarvoor segment 'Current Conditions' nodig en een segment 'Historical'.
Als de stationsbeheerder zijn WU-login-info ter beschikking stel, dan daarna voor Luc de schone taak om periodiek de WU-data op te roepen en om te zetten naar vulling voor de database van de HWA-server voor dat weerstation.
In de scripts van Meteotemplate zie je iets vergelijkbaars: daar wordt van o.a. WU en Netatmo 'Current Conditions' ingelezen en daarmee de database gevuld, waarna uit die database-info de benodigde historische data wordt bepaald en in de database ingevuld. Die laatste functie ontbreekt echter in de HWA-server: historische data wordt verwacht als onderdeel van de HWA-file.

Alternatief zou een technische oplossing kunnen zijn dat aan de kant van de stationsbeheerder (los van zijn weerstation) een vertaal-programma de genoemde 2 API-segmenten uit WU ophaalt en omzet/hercompileert in een HWA-file voor http-upload naar de HWA-server: een ander soort Meteobridge .......
Dan hoeft Luc "alleen maar" de omzetting te maken vanuit de http-upload naar de HWA-database.
De recent toegevoegde vertaling via Domoticz kan al in grote lijnen die opzet volgen:
a) inlezen van data uit WU (en andere databronnen) en database vullen
b) de vertaalslag vanuit Domoticz naar HWA-file is 'algemeen'
c1) voor een eerste uitvoering webruimte als upload-bestemming invullen,
c2) later de upload-bestemming omschakelbaar maken naar http-upload voor HWA-server
[alleen is natuurlijk niet iedereen handig met Domoticz, dus dat aspect moet anders geregeld worden]

Wim's argumentatie over doelgroep en werk geldt echter in alle gevallen.
Positief voor de stationsbeheerder is dat er geen noodzaak is voor regelen van webruimte voor file-overdracht.
Negatief aspect is dat de omweg over WU (of Ecowitt, of Weatherflow, of vergelijkbaar .....) weer een schakel (=afhankelijkheid) toevoegt, hoewel dat waarschijnlijk de meeste stationsbeheerders niet zal interesseren.

[wvdkuil]

@ T.J
De data die naar WU / WOW / WeatherCloud / WeatherLink.com wordt opgeladen bevat alleen real-time gegevens. De data die "meteen" kan worden opgehaald is deze realtime gegevens.

@ALL
De gesommeerde data met hoog-laag waardes loopt bij WU soms uren achter en kan niet betrouwbaar worden gebruikt om de data voor HWA te genereren.
Daarom, als de stations-eigenaar geen weer-programma heeft, werken zowel MeteoTemplate, PWS_Dashboard e.a. met eigen historische bestanden om op de website Hoog-Laag waardes te tonen als de stations-eigenaar geen weer-programma heeft. Die hoog-laag waardes worden dan gebruikt om de bestanden voor mesonets zoals HWA te genereren.

En voor HWA (en andere mesonets) moeten de weer-waardes dan ook nog eens op een internet-website staan.
Inderdaad lost een MeteoTemplate of PWS_Dashboard op een internet website het HWA-probleem daar mee op.

VRAAG: Als iemand echt graag zich bij HWA wil aansluiten
maar daarvoor geen weer-programma wil gebruiken
maar dat ook niet will doen met een kleine via internet bereikbare website
zelfs niet met een "gratis" website zoals https://www.000webhost.com/
. . . waar praten we dan over?

Natuurlijk is de mooiste oplossing als HWA (dus eigenlijk Luc in zijn vrije tijd) een verbeterde WeatherUnderground gaat toevoegen aan de HWA server.
Voor die gebruikers die alleen real-time data opladen
De HWA server gaat dan alle data filteren, foute data verwijderen, mail sturen naar stations-eigenaar, hoog-laag berekenen, back-ups enzovoort.
En wellicht dat dat in de toekomst wel zal moeten ook.
Maar dan kan Luc dat volgens mij niet in z'n eentje 'even' doen.

Er komen meer en meer weerstations die alleen rechtstreeks naar mesonets opladen.
Zoals de "WU-only" stations. Die zijn het afgelopen jaar omgevormd tot "WU-WeatherCloud-WOW-only", maar dan moet nog steeds de HWA-data via een MeteoTemplate /PWS_Dashboard lopen die de data weer van WU terug moeten lezen..
Want een groot deel van de "WU-WeatherCloud-WOW-only" laten geen upload toe naar andere mesonets.
Met uitzondering van de FOSK=Ecowitt=Ambient stations. Die hebben een extra upload naar een zelf te definiëren mesonet.

Dus een toekomstige HWA-server vereist:
voor de grootste groep (> 90%) , de deelnemers met een website, het bestaande "ophaal" protocol
+
HTTP-GET (of POST) upload naar de HWA server voor weer-stations die dat kunnen maar waarvan de eigenaar geen website heeft
+
WU ophaal protocol voor een kleine groep station-eigenaars

En helaas moet de HWA server dan ook de WU-API-key en ID van die laatste groep stations veilig op de HWA server opslaan. Er is namelijk een maximum van 1500 aanroepen / dag / WU deelnemer.

Wim

[Toulon7559]

Als je PWSDashboard of Meteotemplate toepast, is stilzwijgend het 'probleem' van webruimte opgelost, want je moet immers die software in webruimte zetten!
Zie de documentatie van PWSDashboard en Meteotemplate.
.

Met uitzondering van de FOSK=Ecowitt=Ambient stations. Die hebben een extra upload naar een zelf te definiëren mesonet.

Past een FOSHK-station op die manier probleemloos bij de huidige data-overdrachtmethode naar de HWA-server?
Dan zou een korte handleiding zinvol zijn. Of wordt met bovenstaand citaat iets anders bedoeld?