[Toulon7559]

Wim,

Er leiden veel wegen naar Rome ......
Het lijkt alsof we even moeten oplijnen voor goed begrip.
Dit oudere forumbericht schetste m.i. toen al 'het probleem'.

Volledige en kleine vulling van een HWA-file wordt behandeld in de thread waar dit bericht in staat.

We kijken blijkbaar naar verschillende API-calls van WU (of op een verschillende manier) om de data te bemachtigen om de HWA-file zo volledig mogelijk te vullen.

Welke van de API-calls naar WU bedoel jij?

'CurrentData' haal ik nu uit de API-call equivalent aan
https://api.weather.com/v2/pws/observat ... yourApiKey
De aangehangen JSON-file voor IOVERIJS101 is voor een TFA-Nexus.
Info voor dagmaxima en dagminima denk ik te kunnen halen uit de API-call equivalent aan
https://api.weather.com/v2/pws/observat ... yourApiKey
De aangehangen JSON-file voor IHENGE39 is voor een Tempest, en bevat voor de lopende dag de gehele beschikbare reeks met waarden per 5minuten-periode uit de WU-database, niet een uitsnede van alleen de laatste 5 minuten.
Kan me vergissen, maar voor vinden van dagmaxima en dagminima moet je die hele lange lijst doorwerken en de pieken resp. dalen vinden met bijbehorende tijd, OF je moet een database o.i.d. gaan gebruiken voor tussenopslag van de extreme waarden.

[wvdkuil]

Ik gebruik deze CURL's (met PHP variabelen)

Code: Selecteer alles

High-lows this day
https://api.weather.com/v2/pws/history/daily?stationId='.$ID.'&numericPrecision=decimal&format=json&units=m&date='.$today.'&apiKey='.$API;

Current = last 5 minute
https://api.weather.com/v2/pws/observations/current?stationId='.$ID.'&numericPrecision=decimal&format=json&units=m&apiKey='.$API

Het doorlopen van alle 5 minuten waardes geeft gelijke resultaten als de high-lows, maar WU moet dat toch doen omdat ze hun eigen database daarmee updaten. Het werkt sneller en de data van<->naar de servers is veel kleiner. Maar soms ontstaat er een achterstand bij de servers. dan laten ze alleen de oplaad door gaan en wordt de historie niet bijgewerkt. Ik zou dan de lange lijst met 5 minuten data kunnen ophalen en zelf de hoog-laag berekenen. Maar is nog nooit echt nodig geweest.

Alleen als je natuurlijk ook de tijd wilt weten van de hoog-laag waardes. Maar die zou natuurlijk uit de HWA database moeten? kunnen? komen. Hoeft toch niet in de oplaad-file.
Waar is anders de HWA-database voor?

Je kan ook voor iedere deelnemer een klein tekst-bestandje bewaren met de laatste meting en de hoog-laag waardes. Dan gaat het nog sneller.
Alleen als een tekst-bestand "onleesbaar is" o.i.d. de 5 minuten data van de dag ophalen.
Zo werkt de "history.txt" in PWS_Dashboard ook.

Wim

@ALL Algemene beschrijving WU voor opladers met gratis API
https://docs.google.com/document/d/1eKC ... gArAY/edit
Huidige condities
https://docs.google.com/document/d/1KGb ... 8SWBs/edit
Historie voor 1 dag
https://docs.google.com/document/d/1w8j ... G3aD0/edit

[Toulon7559]

Wim,

Je praktijkervaring dat de enkele 'daghistorie' uit de API-call 'History/day' nagenoeg gelijk is aan de uitkomst van de lange reeks uit die andere API-call is een heel nuttige hint, want dat spaart aanzienlijk moeite.
Die ontbrekende tijden zijn iets van later zorg.

MVG, Anton

[wvdkuil]

Hallo Anton,
.
OK, als dit bestand door HWA verwerkt kan worden, dan is er een script voor WU gebruikers
.
Hoe werkt het:
Instellingen: WU-ID en WU-API-key, nu test voor 1 station wat nog niet oplaadt naar HWA.
Elke 5 minuten (via cron) wordt er de recente data van WU opgehaald
==> als er geen recente data van WU is dan wordt de laatste data gebruikt
Met de goede data worden de hoog-laag waardes bijgewerkt.
==> de eerste keer worden de hoog-laag waardes van WU gehaald, in het voorbeeld met 07:50 als tijd.
====> als die hoog-laag waardes van WU er niet zijn wordt de eerste juiste data gebruikt.
.
De eerste juiste data na 00:00 uur reset de min-max waardes en telt de regen door in de maand-waardes
De eerste juiste data na 00:00 op de eerste dag van een maand reset de maand-regen waarde.
.
Test = https://pwswd.be/hwa_fe/?id=IVLAAMSG47
Om het script te bekijken, zoals altijd, https://pwswd.be/hwa_fe/hwaWU.php?sce=view
Wim

Code: Selecteer alles

$stationDate = "02-05-2022";
$stationTime = "18:13";
$tempUnit = "C";
$humUnit = "%";
$barUnit = "hPa";
$rainUnit = "mm";
$rateUnit = "mm/h";
$windUnit = "km/h";
$sunriseTime = "06:10";
$sunsetTime = "21:05";
$outsideTemp = "18.9";
$hiOutsideTemp = "20.4";
$lowOutsideTemp = "5.9";
$hiOutsideTempTime = "17:48";
$lowOutsideTempTime = "07:50";
$outsideHumidity = "34";
$hiHumidity = "85";
$lowHumidity = "31";
$hiHumTime = "07:50";
$lowHumTime = "17:48";
$outsideDewPt = "2.7";
$windSpeed = "1.4";
$wind10Avg = "1.4";
$hiWindSpeed = "16.5";
$hiWindSpeedTime = "07:50";
$windDir = "229";
$windDirection = "N";
$windChill = "18.9";
$outsideHeatIndex = "18.9";
$barometer = "1015.58";
$hiBarometer = "1019.64";
$lowBarometer = "1015.58";
$hiBarometerTime = "07:50";
$lowBarometerTime = "17:48";
$dailyRain = "0";
$monthlyRain = "0";
$rainRate = "0";
$solarRad = "";
$hiSolarRadTime = "07:50";
$uv = "";
$hiUV = "";
$hiUVTime = "07:50";
$version = "WU-data 1651508027";

[Toulon7559]

Mooi snel werk!
Nu actie bij Luc om te kijken hoe hij dat in de HWA-serveromgeving kan passen.

[wvdkuil]

Mooi snel werk!
Nu actie bij Luc om te kijken hoe hij dat in de HWA-serveromgeving kan passen.

Nieuwe versie on-line gezet met verbeteringen voor de dag-wissel.
Ook wat commentaar toegevoegd en test code verwijderd.
.
We zullen eerst moeten testen, zowel het script als de afhandeling van de vraag vanuit de (nieuwe) deelnemers.
Wellicht zijn er test-stations in de HWA-data-base?
Zo niet, dan moeten we zelf een paar stations aanmelden als "nieuwe deelnemer"
.
Voor iedere (nieuwe) deelnemer die de stations-data wil "opladen" via WU is er nodig
1. een HWA deelnemer-nummer via Luc denk ik?
2. een mail van de deelnemer met WU-ID en de WU-API-key
==> dus ook een beschrijving voor de deelnemer van waar de WU-API-key op te vragen is
==> WU-ID en de WU-API zet ik in het beveiligde script
==> of jij zet de scripts op je eigen server en doet het zelf
3. link voor Luc van het "oplaadbestand" van mijn server is altijd
==> https://pwswd.be/hwa_fe/?id=WU_ID_DEELNEMER
.
Zodra de scripts van Luc het bestand ophalen wordt telkens de data ververst.
Dus het ophalen werkt dan als "cron-server"
.
Wim

[Toulon7559]

Wim,

De proeffase zou m.i. prima kunnen volgens de lijn die je schetst.

Als het WU-‘ophaalscript’ bij jou of mij op een server draait, dan is de HWA-gemeenschap echter daarvoor afhankelijk van een 3e partij, ook voor de koppeling van de WU-login-info.
Dat is wel acceptabel voor een korte, tijdelijke proef, maar niet voor de ‘definitieve’ uitvoering.
Om schoon schip te maken na de 1e proeffase, zou je m.i. daarom in die proeffase moeten werken met ‘nep’ HWA-stations die daarna verdwijnen.
Voor ‘definitief’ moet het in/bij de HWA-server draaien incl. bijpassende aanmeldsectie op de website voor ‘WU-ophalen’.
HWA-stations maken kan iedere moderator regelen: moeten we alleen afspreken dat we ‘nep’-stations geografisch zo neerzetten dat hun data geen verkeerde invloed krijgt op de database-verwerking, dus enig realisme van positie i.c.m data wel gewenst, oftewel wel ‘echte’ WU-stations.
Meldt benodigde ‘nep’ HWA-station(s) aan onder heldere titel, met in het venster voor ‘aanvullende informatie’ de vermelding ‘WU_test’, dan pik ik die wel op.
Opgave van WU-inlog-info bij een aanmelding wordt pas van belang als anderen willen meedraaien met hun WU-station voor de proeffase.

Toch zou mijn voorkeur zijn dat Luc uitspreekt hoe hij het WU-ophaalscript incl. aanmelding in/bij de HWA-server wil gaan uitvoeren:
beter voordat we verder testen, dan daarna, want dan kunnen we al in die richting werken.

Mvg, Anton

[wvdkuil]

. . . ingekort
Voor ‘definitief’ moet het in/bij de HWA-server draaien incl. bijpassende aanmeldsectie op de website voor ‘WU-ophalen’.

Helemaal mee ens. Maar eerst moeten we zeker weten dat

• De data correct van WU wordt opgehaald.
  Dus moeten we met een controleerbaar eigen weer-station werken dat naar WU oplaadt. Als dat station al bij HWA aangemeld is kunnen we goed de WU data vergelijken met "normale" HWA oplaad
• De HWA server de data accepteert.
  Het is een erg klein HWA bestandje. Misschien zijn er toch 1 of meer velden nodig .
  Wellicht gaan de vertalingen van de units verkeerd. e.d.

. . . ingekort
HWA-stations maken kan iedere moderator regelen: moeten we alleen afspreken dat we ‘nep’-stations geografisch zo neerzetten dat hun data geen verkeerde invloed krijgt op de database-verwerking, dus enig realisme van positie i.c.m data wel gewenst, oftewel wel ‘echte’ WU-stations.

Daarom wil ik eerst testen met echte stations die echt opladen naar WU maar nog niet bij HWA zijn aangemeld.
Jij zelf hebt meerdere weerstations in gebruik. Dus je meldt zelf een tweede station aan bij HWA.
Je kunt ook de WU data van je huidige station gebruiken dan zouden de "oplaad" bestanden vrijwel gelijk moeten zijn. Dus ook de HWA-grafieken uit de HWA-database.

. . .
Meldt benodigde ‘nep’ HWA-station(s) aan onder heldere titel, met in het venster voor ‘aanvullende informatie’ de vermelding ‘WU_test’, dan pik ik die wel op.
Opgave van WU-inlog-info bij een aanmelding wordt pas van belang als anderen willen meedraaien met hun WU-station voor de proeffase.

Ik wil best mijn eigen stations aan melden, maar geen "nep" stations.
Weerstation Sluispark was vroeger deelnemer dus die kan weer gewoon data aan leveren.
En ik beheer er nog een paar. Ik meld ze niet aan bij HWA omdat ze "te dicht" bij andere stations liggen en dus geen "nuttige" uitbreiding zijn op de HWA Data.

. . .
Toch zou mijn voorkeur zijn dat Luc uitspreekt hoe hij het WU-ophaalscript incl. aanmelding in/bij de HWA-server wil gaan uitvoeren:
beter voordat we verder testen, dan daarna, want dan kunnen we al in die richting werken.
Mvg, Anton

Ja mee eens, maar nee is niet echt nodig.
De stations die via "eigenweer.nl" hun data aan leveren melden zich ook aan met alleen een url.
.
In het verleden heb ik vele maanden een tiental HWA-stations via MITM laten werken totdat Luc de https op de verouderde HWA-server kon omzeilen.
.
Dus we kunnen rustig testen met echte weer-stations van echte nieuwe gebruikers.
Liefst van de lijst stations die bij jou op de wachtlijst staan omdat WU nu niet ondersteund wordt.
.
Voor Luc:
Hij hoeft alleen nu te kiezen of hij die nieuwe HWA-WU gebruikers in de nabije toekomst welkom wil heten.
En daarvoor de extra "server-load" van een klein aantal nieuwe deelnemers op de server "erbij" kan hebben.
En dan 2 velden toe te voegen op de stations aanmeld pagina.
.
Wim

[Toulon7559]

Voor zulke testen heb ik met opzet 2 extra, aparte WU-accounts gemaakt, met resp. mijn Nexus en mijn Tempest als databron:
die 2 WU-accounts kunnen dus binnen de WU-quota apart max. worden afgevraagd.
De databronnen zijn ‘echt’, dus realisme is OK.
Het is een kwestie van beschrijving, maar als ik aan deze 2 WU-accounts 2 nieuwe HWA-stations koppel, dan zitten in de praktijk die 2 nieuwe HWA-stations dus op exact zelfde locatie als 2 bestaande HWA-stations:
OK voor vergelijking tijdens testen, maar verder geen toegevoegde waarde, en daarom ‘nep’ genoemd.
Ook ‘nep’, omdat hun ophaalscript niet in/bij de HWA-server draait.
Voor Wim’s Sluispark-station en mijn eigen inbreng van 2 WU-stations is voor testen daarmee alles geregeld.

=>>> Voor testomvang inderdaad veel beter als ook andere forumleden hun WU-station aanmelden, bij voorkeur voor een locatie afwijkend van een al bestaand HWA-station:
begincontact door melding via PB aan Wim_vdKuil (= wvdkuil ) met cc naar mij (= Toulon7559 ) DAT wil worden meegedaan aan de test, liefst
- met vermelding van email-adres voor verdere, directere communicatie,
- met melding van gewenste plaatsnaam en decimale geolocatie voor het HWA-station, zoals in het ‘normale’ HWA-aanmeldvenster, en
- met opgave van WU_stationsID en WU_APIkey waar de data kan worden gelezen.
Dan kunnen Wim en ik daarna de bijbehorende koppelingen voor scripts en voor nieuwe HWA-stations gaan invullen.
[al ligt aan mijn kant dd mei 2022 de eerste prioriteit bij reanimeren van alle uploads, want tijdens het geplande onderhoud is ‘iets’ erg misgegaan]

Deze thread loopt voor het inkoppelen via uitlezen van WU-info voorlopig verder via deze link.

[Toulon7559]

Met invoegen van 10 WRIJ-regenmeters en 2 BMCB-regenmeters voor neerslag-registratie een stevige uitbreiding met kwaliteit!
Nog wel werk voor een beter passende vertoning voor stations met rain-only.

Ook -op verzoek- een aantal gaten gevuld in de HWA-bedekking van Nederland door toevoeging van een reeks KNMI-stations,
vooral aan de randen van de kaart en in het centrum.
Deze selectieve toevoeging is bewust met een basis-invulling,
omdat we de data van stations van HWA-leden de boventoon willen laten voeren:
- alleen voor Terschelling zijn een paar afgeleide waarden bepaald, omdat daar een echt grijsgebied was.
- voor de andere KNMI-stations bijv. geen bepaling van dagwaarden voor Tmin en Tmax en van dag-extremen voor neerslag, wind en druk.

Invulling voor Terschelling, Vlieland en Schiermonnikoog met stations van HWA-leden heeft de voorkeur, want zij meten waar de mensen wonen.
We weten via VWK, WUnderground en Netatmo dat er private PWSen in bedrijf zijn op die eilanden:
wie biedt zich aan op de Wadden-eilanden voor HWA-invulling?

Het volgende geldt trouwens voor iedereen wiens station nog niet in de HWA-stationslijst staat.
Wel interesse voor aansluiting, maar weet je niet hoe te realiseren?
Stuur een PB naar groep Algemene moderators!