Algemeen forum voor discussie over de website
#74756
Waarom staan de Weerstations KNMI Ell en Beek niet in het schema van Limburg?
Helaas ligt Arcen er de laatste tijd veel uit en het zou een mooie aanvulling zijn denk ik als dat mogelijk is...
#74757
Voor de HWA-stationslijst is de KNMI-collectie alleen een subset om de grootste gaten te vullen in de HWA-bedekking, niet allemaal.
De uitlezing wil wel eens willekeurig wegvallen:
zal proberen dit zsm na te kijken, en genoemde 2 stations toe te voegen voor betere dekking in Limburg.
#74764
Een mogelijke reden voor de geconstateerde wegval is de daglimiet van 300 aanroepen per API-key voor gratis opvragen van data:
300 aanroepen/dag => voor 1 station interval van min. 5 minuten voor continue uitlezing
Bij de huidige HWA-invulling met script/station i.c.m. 1 API-key
=> hoe langer de lijst van KNMI-stations, hoe meer scripts gaan roepen, hoe eerder de dagvoorraad op is
=> uitval van respons & vertoning voor de rest van de dag

Om het aanroepen voor een reeks stations binnen de daglimiet/API-key te laten passen:
- Oplossing 1 is minder vaak aanroepen per station tot het weer binnen de daglimiet van 300 aanroepen past.
=> bij 1 aanroep/uur => capaciteit/API-key voor continue afhandeling van 12 stations
- Oplossing 2 is herverdeling van de reeks geselecteerde KNMI-stations over meerdere API-keys
=> meer aanroepen per uur per station mogelijk, voor meer stations.
Initieel globaal inzetten op aanroep per station per 30 minuten, want de KNMI-info als gapfilling van de HWA-stationslijst bedoeld voor laagfrequent ondersteuning / referentie.

Een provisorische Oplossing1 in de huidige lua-scripts voor langer oproepinterval mislukte helaas
(haastige spoed is zelden goed => nu time-out voor alle KNMI-stations in de HWA-stationslijst, die met dat script :( werken),
dus drastischer aanpak vereist in richting van Oplossing2 met vervanging van de reeks lua-scripts door Python-scripts, met tijdaansturing door cronjobs.
Kost even tijd …..

Uitbreiding 18mei2023:
Beschrijving van berekening en instelling ingevoegd.
#74768
KNMI_Arcen en KNMI_Deelen draaien nu weer mee (volgens Oplossing2) met periodiek een basis-invulling met actuele waarden.
Tegelijk 3 nieuwe stations toegevoegd (= Ell, Volkel en Schiphol) in streven om de bedekkingsgaten te verkleinen.
Kinderziekten voor Oplossing2 oplossen mbv deze 5 stations, en daarna in komende tijd uitbreiden, eerst met de KNMI-stations op de Wadden-eilanden.
In dat plan de bovengenoemde 5 plus de Wadden-stations dan ook met meer afgeleide waarden, zoals Extremen, voor vollediger vulling van de HWA-file,
en daarmee ook weer vulling van de statistiekrubriek.

Uitbreiding 18+30mei2023:
Aangepast aan actuele realisatie.
#74859
Piet,

Diverse oorzaken mogelijk.

Organisaties zoals KNMI ‘hikken’ ook wel eens, en dan is uiteraard voor betreffende stations ook de HWA-info niet bij de tijd.

De HWA-uploaddata voor de wel geselecteerde reeks KNMI-stations wordt klaargemaakt in een aparte, gemeenschappelijke hulpserver.
Helaas niet altijd bewaking in de buurt voor die hulpserver,
en als die wegvalt, dan missen tegelijk alle KNMI-stations in de HWA-stationslijst ......

Scripting-Oplossing2 voor de hulpserver, eerdergenoemd in deze thread, blijkt ook niet helemaal stabiel, met sommige stationsuitlezing OK, maar andere onduidelijk wisselend ‘weigerachtig’:
reden om aan een Oplossing3 te werken met KNMI-data via andere bronnen.

MVG, Anton
#74863
Soms wordt in een 'keten/netwerk' aan de bronkant iets aangepast zonder dat de HWA-kant dat weet:
daarna kan 'niet-passende interface' dan vanzelfsprekend leiden tot storing/wegvallen van de interface.
[Verlagen van de toegestane hoeveelheid calls/periode per API-key is bijv. een 'leuke']
Eerste actie na ontdekken is navragen/uitzoeken ‘of/wat’,
gevolgd door vinden & implementeren van een aanpas-oplossing .........

Voor de HWA-server zou dat van toepassing kunnen zijn voor databronnen die in de volgende ketens/netwerken door stationsbeheerders als 'aangevers' zijn aangewezen (in alfabetische volgorde):
- AWEKAS
- BMCB
- CWOP
- KNMI (direct, of via weerlive.nl of via buienradar.nl)
- Netatmo
- WRIJ
- WUnderground