[weerzal]

Hebben we eigenlijk geen klein feestje te vieren?
Zie op het scherm dat er nu precies 300 deelnemers zijn.
Dat is toch geweldig.
Credits voor iedereen en wat extra voor Luc

Groet Rob.

[Luc]

Ik zie het nu ook. In zoverre is het een mijlpaal dat er 300 weerstations zijn die in afgelopen 3 weken data hebben aangeleverd. Oftewel 300 'actieve' weerstations.

In werkelijkheid heb ik al 341 weerstations toegevoegd. Sommige zijn gestopt, andere verhuisd of leveren (tijdelijk) geen data meer aan. Stations die 3 weken geen data meer aanleveren verdwijnen namelijk automatisch van de site.

De '300 grens' is nu voor iedereen zichtbaar, maar voor mij persoonlijk was deze al een tijdje terug bereikt.

Gr,
Luc

[Mark]

Ik zat het de afgelopen weken ook al in de gaten te houden. Iedere keer dacht ik: vandaag of morgen zijn we er, maar dan werden er weer 1 of 2 sites afgevoerd van het totaal. Nu zitten we dus al op 302 stations :cheer: . Chapeau voor Luc en voor iedereen die hier zijn of haar bijdrage aan levert door regelmatig weerdata door te sluizen.
Het mooie is ook dat langzaam maar zeker de witte vlekken op de kaart van Nederland en België gaan verdwijnen. Dus mensen op de Veluwe, de kop van Overijssel, Noord-Oost Twenthe, Waddeneilanden, Breda en omstreken, rond de Lauwersmeer, Oost-Groningen, Helmond en omstreken, Leerdam en omstreken, De Belgische kust in het bezit van een goed opgesteld weerstation en een internetverbinding meld je aan!

Op naar de 400 en een verhoging van de betrouwbaarheid van de metingen!

Groet,

Mark.

http://home.kpn.nl/markenilonka/

[Toulon7559]

De genoemde '400' is nog steeds een stip aan de horizon .....
.
De weg daarheen met "grijze vlekken wegwerken" en "dichtheid verhogen" is een zaak van nieuwe invalshoeken proberen te vinden om (bij voorkeur) 'volledige' weerstations toe te voegen.
Maar stations met weliswaar beperkte, maar heel goede sensorenset kunnen ook een versterking zijn.
.
Sommige "grijze vlekken" zijn heel hardnekkig.
Bijv. enkele Waddeneilanden staan al heel lang op het verlanglijstje.
Vanuit HWA-Beheer ontwikkelden we daarvoor een provisorische invulling door meenemen van publieke KNMI-informatie:
toepassing van een beperkte data-set betekent dat op de webpagina's een aantal info-vakjes leeg blijft, maar op die manier zijn nu wel Vlieland, Terschelling en Schiermonnikoog praktisch, minimaal ingevuld.
Natuurlijk te hopen dat op termijn voor dat gebied toch een paar ‘volledige’ HWA-weerstations zich melden.
.
"Dichtheid verhogen" is een kwestie van meer stationbeheerders enthousiast maken voor aansluiting op het HWA-netwerk.
De basis-varianten voor aansluiting zijn beschreven in de Handleidingen-afdeling van het forum:
die varianten gebruiken bijbehorende, eigen internet-webruimte voor plaatsen van de HWA-file en/of voor hun software.
Als alternatieve variant voor weerstations die toch niet daarbij passen, zou het mogelijk moeten zijn om bijv. WU-stations of Netatmo-stations vanuit hun server uit te lezen via een HWA-serverfunctie voor vertaling naar een HWA-inbreng.
Niet beter dan een basis-variant, maar een andere functie-verdeling: voor die opzet is een ruwe opzet onder test, en in overleg in te zetten.
In beoogde uitvoering vraagt die aanpak van de stationsbeheerder geen toepassing van eigen webruimte, maar alleen beschikbaarstelling van login-info.
Met de benodigde login-info (voor zijn WU-account resp. Netatmo-account, zoals ook voor template-gebruik met PWSDashboard en Meteotemplate van toepassing is) is daarna voor de alternatieve variant aan de kant van de betreffende HWA-serverfunctie een kwestie van 'inlezen & vertalen', dus 'pull'-extractie.
Met een bijpassend script en serverruimte aan de kant van de HWA-organisatie.
[Bewust 'pull'-extractie, omdat dan de HWA-serverfunctie het ophalen zelf in de hand heeft]
.
Met de nu bijgewerkte basis-varianten een veelheid van aansluitmogelijkheden:
bekijk voor jezelf wat het best schikt, en zegt het voort naar anderen!
Als je opziet tegen gebruik van de genoemde software-pakketten of tegen regelen van de eigen webruimte,
meldt dan je interesse voor de alternatieve variant per PB naar de groep 'Algemene moderators' van het HWA-forum: in overleg vast iets te regelen ....

25April2022:
Tekst bijgewerkt/ingekort
01Mei2022:
[tekst] toegevoegd

[Toulon7559]

Extractie van stationsdata uit de WU-database heeft zijn (on)hebbelijkheden, maar zou een invulling voor een Alternatieve route kunnen zijn.
Al zoekend naar geschikte scriptstukken ook een oplossing gevonden van de hand van de auteur van de bekende Saratoga-template.
Dat PHP-script heeft een mooie oplossing om stationsdata uit WU op te halen, maar vraagt (m.i.) wel weer webruimte-gebruik, en er moet een uitgang bijgebouwd worden voor compilatie van een HWA-file.
.
Het resulterende pakket zou voor een stationsbeheerder voor het maken van een HWA-file het functionele equivalent zijn van Wim's PWS-Dashboard of van Meteotemplate+HWAFeed, maar dan zonder de fraaie dashboards.
Zo'n 'Duplicatie' opnieuw bouwen heeft geen voordeel, dus verder zoeken .......

[wvdkuil]

Extractie van stationsdata uit de WU-database heeft zijn (on)hebbelijkheden, maar zou een invulling voor een Alternatieve route kunnen zijn.
Al zoekend naar geschikte scriptstukken ook een oplossing gevonden van de hand van de auteur van de bekende Saratoga-template.
Dat PHP-script heeft een mooie oplossing om stationsdata uit WU op te halen, maar vraagt (m.i.) wel weer webruimte-gebruik, en er moet een uitgang bijgebouwd worden voor compilatie van een HWA-file.
.
Het resulterende pakket zou voor een stationsbeheerder voor het maken van een HWA-file het functionele equivalent zijn van Wim's PWS-Dashboard of van Meteotemplate+HWAFeed.
Zo'n 'Duplicatie' opnieuw bouwen heeft geen voordeel, dus verder zoeken .......

Er zijn veel "belangrijke analyse" scripts die het oude WeatherUnderground .CSV formaat gebruiken.
Denk aan de "oude' dashboard scripts met selectie van eigen periode, of de "kleurtjes tabellen".
Omdat die na de aankondiging van WU niet meer bruikbaar waren, zijn er diverse "Man-In-The_middle" scripts gemaakt.
Die zorgen ervoor dat de oude scripts hun data kunnen ophalen in het data formaat van voor december 2018, zonder aanpassingen in de scripts. Alleen de URL wijst niet rechtstreeks naar de WU server maar naar het MITM-script.

Echter:

1. De huidige JSON data van WU omvormen tot het oude .CSV formaat betekent wel dat er enkele nieuwe data-items niet gebruikt worden. Omdat ze niet in het oude formaat zaten.
2. Ook enkele oude items worden met NULL data gevuld omdat ze niet in de nieuwe .JSON data worden geleverd.
3. Verder loopt de historische data bij WU enkele uren achter.

Alle moderne scripts gebruiken daarom de rechtstreekse WU-API .JSON data voor de real-time data.
Templates zoals mijn PWS_Dashboard gebruiken alleen voor oudere (voor 2018) scripts het MITM script.

M.i. is dit dus geen oplossing voor gebruikers zonder website die hun data alleen naar WU opladen.
Wim

[Toulon7559]

Begrepen.

MITM en CSV komt in mijn opzet niet voor: voordeel van (in dit opzicht) 'geen historie hebben'.
Mijn gedachte opzet m.b.v. Python-script is regelrecht vanuit WU_JSON-files naar een HWA-file te komen.
[In lua-script al werkend voor een uitlezing en minimale invulling met alleen actuele waarden, maar m.i. lua-script ongeschikt voor een algemene, publieke toepassing]
De 'betere' oplossing die ik voor WU-uitlezing voor ogen heb, is een combinatie van periodiek uitlezen van CurrentData uit WU, gecombineerd met minder frequent historische data lezen uit Today's Data uit WU:
de eerste om actueel te zijn, en de 2e om historische info in te vullen (en dat mag iets trager zijn).
Kost naar WU 1 of 2 aparte API-calls per update, maar dan wel betere 'dekking'.

Via het Domoticz-forum en via StackOverflow proberen oplossingen te vinden voor een paar Python/JSON-problemen waar ik onderweg tegenaan loop:
heeft ook te maken met verschil in Python-versies.

[wvdkuil]

Begrepen.

MITM en CSV komt in mijn opzet niet voor:
probeer m.b.v. Python-script regelrecht vanuit WU_JSON-files naar een HWA-file te komen.
[In lua-script al werkend voor een minimale invulling met alleen actuele waarden, maar m.i. lua-script ongewenst voor algemene, publieke toepassing]
De 'betere' oplossing die ik voor WU-uitlezing voor ogen heb, is een combinatie van uitlezen van CurrentData uit WU, gecombineerd met historische data gelezen uit Today's Data uit WU:
de eerste om actueel te zijn, en de 2e om historische info in te vullen (en dat mag iets trager zijn).
Kost naar WU 2 url-calls per update, maar dan wel betere 'dekking'.

Probeer via het Domoticz-forum en via StackOverflow oplossingen te vinden voor een paar Python/JSON-problemen waar ik tegenaan loop.

Maar wat is dan het doel?
Welke gebruiker zonder website kan met zo'n script met python de data aanleveren aan HWA?

Ik dacht dat het erom ging in deze discussie, om meer gebruikers die geen weer-website hebben een toegang te geven om hun stations data aan te leveren.
Een eenvoudig script op de HWA server is de oplossing maar dat kan / mag niet.
Zo'n script leest de stations data van WU en combineert met de data base waar de berekende hoog-laag waardes al in zijn opgeslagen.
Dat script kan dan aangepast worden om ook "alleen-AWEKAS" gebruikers (nieuwe Bresser stations) toegang te geven.

Helaas, HWA werkt alleen met het ophalen van complete data in HWA formaat. Een website blijft dus noodzakelijk.

Als dat opeens anders is, en je scripts voor de HWA server wilt hebben die data kan ophalen van WU, Awekas, Ambient, Ecowitt.net en andere hoef je dat maar te vragen. Allemaal in PHP en direct aanpasbaar.

Wim

[Toulon7559]

Wim,

De laatste regel is van toepassing, maar vanwege Luc's capaciteitsgebrek ben ik bezig met uitproberen van een proef-concept.
Dat proef-concept heeft een MITM-opzet, tijdens de proef draaiend op mijn eigen configuratie als 'frontend' voor de HWA-server:
bewust een apart 'frontend' i.v.m. aspecten van beveiliging en belading.
Voor een stationsbeheerder zal het lijken alsof de HWA-server zijn data ophaalt, terwijl de ongewijzigde HWA-server een HWA-file krijgt toegeworpen zoals hij gewend is.
Nu dus feasability-check en leercurve met toepassing van WU als databron en met Python als programmeer-omgeving, omdat dat op bijna iedere processor kan draaien, zonder behoefte aan webruimte.
Als het proef-concept werkt, dan de opgave aan Luc om dat 'frontend' in zijn server-configuratie op te nemen.

MVG, Anton

[wvdkuil]

Anton,

Dit is de min-max data die met 10 minuten vertraging beschikbaar is

Code: Selecteer alles

[stationID] => IVLAAMSG47
[tz] => Europe/Brussels
[obsTimeUtc] => 2022-05-01T15:01:28Z
[obsTimeLocal] => 2022-05-01 17:01:28
[epoch] => 1651417288
[lat] => 50.89502
[lon] => 4.697543
[solarRadiationHigh] => 
[uvHigh] => 
[winddirAvg] => 218
[humidityHigh] => 94
[humidityLow] => 42
[humidityAvg] => 73.5
[qcStatus] => 1
[metric] => Array (
    [tempHigh] => 16.4
    [tempLow] => 4.3
    [tempAvg] => 9.6
    [windspeedHigh] => 9.7
    [windspeedLow] => 0
    [windspeedAvg] => 0.9
    [windgustHigh] => 12.9
    [windgustLow] => 0
    [windgustAvg] => 3
    [dewptHigh] => 6.6
    [dewptLow] => 3.3
    [dewptAvg] => 4.5
    [windchillHigh] => 16.4
    [windchillLow] => 4.3
    [windchillAvg] => 9.6
    [heatindexHigh] => 16.4
    [heatindexLow] => 4.3
    [heatindexAvg] => 9.6
    [pressureMax] => 1023.71
    [pressureMin] => 1019.98
    [pressureTrend] => -0.22
    [precipRate] => 0
    [precipTotal] => 0
)

Dit de realtime data:

Code: Selecteer alles

[stationID] => IVLAAMSG47
[obsTimeUtc] => 2022-05-01T15:36:31Z
[obsTimeLocal] => 2022-05-01 17:36:31
[neighborhood] => Leuven
[softwareType] => meteobridge
[country] => BE
[solarRadiation] => 
[lon] => 4.697543
[realtimeFrequency] => 
[epoch] => 1651419391
[lat] => 50.89502
[uv] => 
[winddir] => 229
[humidity] => 45
[qcStatus] => 1
[metric] => Array  (
    [temp] => 15.9
    [heatIndex] => 15.9
    [dewpt] => 4
    [windChill] => 15.9
    [windSpeed] => 7.9
    [windGust] => 9.7
    [pressure] => 1019.64
    [precipRate] => 0
    [precipTotal] => 0
    [elev] => 38.1
)

Is dat dan voldoende voor HWA?
Zo ja heb je dan een eenvoudige lijst met welke velden HWA echt nodig heeft?
Wim