Het weer, actueel weer van alle weerstations

In vervolg op de WU_uitlezing verder rondkijkend naar meer ‘alternatieve, indirecte’ databronnen.
CWOP en WeatherCloud zijn ook grote netwerken met veel stations die we bij HetWeerActueel nog niet kennen.
.
Heeft iemand ervaring met download uit CWOP resp. Weathercloud van data van uitgekozen stations?
Voortborduren = minder risico & minder tijd dan opnieuw uitvinden:
voorbeeldscripts beschikbaar voor download en data-extractie?
[een goedwerkend, kort script in Python of PHP is altijd welkom!]

01Juni2022:
Deze thread verder voor alleen CWOP
11Juni2024:
Tekst aangepast voor opzet van Nieuwe thread voor WeatherCloud

CWOP (= Citizen Weather Observer Program) hanteert voor data-invoer een eenvoudige datafile die voor inhoudelijke invulling lijkt op de basis-upload met actuele waarden naar o.a. WUnderground, WOW en PWSWeather. In dat opzicht beperkt bruikbaar voor HWA als databron.
Voor publiek (her)gebruik - in principe gericht op de data-eigenaar - wordt echter per station de data samengevat weer beschikbaar gesteld na een url-call geadresseerd met het CWOP-CallSign van het betreffende weerstation.
Die data komt dan via een webpagina in een datafile met waarden van de laatste 24 uur in diverse layouts:
'publiek-vriendelijke' HTML-webpagina , of via
'technische', fixed_format HTML-webtabel met deze uitleg

Uit die 24uur-datafile kan via webscraping een collectie actuele en historische meteodata uitgelezen worden als databron gericht op maken van een HWA-file.
In de basis-versie van de applicatie met een invulling van de HWA-file nog steeds vergelijkbaar met basis-upload naar WU, maar m.b.v. het 24uur-overzicht ook met invulling van afgeleide en extreme waarden via extra software voor generatie van die waarden.
De feasability van de applicatie is aangetoond:
zoals vereist, nu robuust maken via testen & aanpassen m.b.t. grenswaarden-effecten en m.b.t. absentie van waarden.

Voor HWA-toepassing is dit een aanvulling op de interface-mogelijkheden voor de HWA-server, vergelijkbaar met een uitlezing van WUnderground of (misschien) WeatherCloud.
Data via andere APIs uiteraard ook interessant als databron voor HWA, zolang kosteloos ......
Is een oplossing voor stations waarvan de stationsconfiguratie niet direct zelf een HWA-file kan maken cq die geen eigen webruimte hebben, maar die wel data kunnen uploaden naar CWOP.
Aanmelden & realisatie voor HWA-aansluiting via CWOP-uitlezing is zoals voor WU-uitlezing, maar dan nog eenvoudiger met CWOP-CallSign ipv WU-StationsID&WU_APIkey:
zie deze Handleiding

08Juni2022:
Bijgewerkt n.a.v. ontwikkeling van de interface, en opmerkingen over PWSW toegevoegd.

21mei2024:
Format-uitleg toegevoegd

Als eerste HWA-station draait Appelscha 'operationeel' met een CWOP-datatabel als databron.
Het interface-script nu verder uitbreiden t.o.v. de CWOP-basisdata in de richting van de gewenste HWA-functionaliteit.

‘Direct afgeleide waarden’ (zoals Dauwpunt, WindChill en HeatIndex) zijn inmiddels aangehangen.
Berekeningen voor neerslagmaandwaarde en voor extreme dagwaarden voor temperatuur en windstoten zorgen voor verdere invulling.
Bartrend kun je vinden door in de CWOP-datatabel 3 uur achteruit te kijken naar de drukwaarde die toen geldig was en te vergelijken met de huidige waarde,
maar de praktijk blijkt daar nog even weerbarstiger dan de theorie ……

Wie volgt als nieuw HWA-station met deze databron?
Aanmelden en ‘bedrijf’ is eenvoudig genoeg: zie deze Handleiding

Deze week weer 2 stations in Vlaanderen toegevoegd aan de stationslijst, die gebruik maken van upload naar de HWA-server vanuit CWOP-uitlezing.
De CWOP-interface is in opzet de eenvoud zelve, zoals uitgelegd in het voorgaande bericht:
- de betreffende stationsbeheerder hoeft alleen het CWOP-callsign door te geven
- de HWA-(hulp)server leest daarna de CWOP-outputfile en compileert de HWA-file.
Een paar ToDo-dingetjes m.b.t. afgeleide waarden zijn reden om het CWOP-uitleesscript nog even buiten de HWA-server te houden, maar stations met CWOP-account als databron zijn van harte welkom ......

Kanttekeningen daarbij (na doorlopen van de CWOP-ledenlijsten en bekijken van de bijbehorende files):
- de meeste CWOP-files hebben min of meer een standaardformat, maar er zijn uitschieters die heel wisselende, variabele formattering hebben.
Die uitschieters zijn helaas 'te moeilijk' voor toepassing als HWA-databron.
De kleine variaties een belemmering om 1 ‘standaardaanpak’ te kunnen hanteren
=> voorlopig nog specifiek script/station
- voor HWA-toepassing zien we graag in de CWOP-data een update-interval <30minuten,
want anders spreekt aan de HWA-kant de timeout-melding te vaak aan.
Daardoor vallen ook een paar kandidaatstations uit.
- afgeleide waarden voor o.a. neerslag/maand moeten initieel per station handmatig een startwaarde krijgen, dus eerst zoekwerk voordat 'echte' waarden kunnen worden vertoond.
Of wachten tot begin van de volgende maand.
- Voorkeur blijft voor de uitleesmanieren die naast actuele waarden direct afgeleide waarden meeleveren:
CWOP-uitlezing in die zin vooral als snelle, eenvoudige aanzet voor stations die nu nog niet naar HWA uploaden.

Aanpassing 19Mei2024:
tekst geheel herzien

Aanpassing 27Juni2024:
Uitgebreid

Toulon7559 schreef: ↑18 mei 2024, 20:02 - de HWA-server leest daarna de CWOP-outputfile en compileert de HWA-file.
. . .
in die zin vooral als snelle aanzet voor stations die nu nog niet naar HWA uploaden.[/size]

Voor alle duidelijkheid: helemaal NIEMAND kan opladen naar HWA.
De server heeft geen publiek FTP verkeer.
Nog ondersteunt het de meer moderne http-upload.
Men heeft dus

• of een eigen website nodig om het bestand neer te zetten of
• men moet deelnemer zijn van een andere organisatie zoals CWOP e.d.

De HWA-server leest op een bepaald moment (iedere x minuten) de bestanden op van de deelnemers websites om in de HWA database te verwerken.

Er zijn een paar programmetjes die iedere 5 minuten de data van die andere organisaties lezen en dan omvormen tot een soort HWA-bestand die dan ook klaar gezet worden om door de HWA-server gelezen te worden.

Inderdaad is in mijn voorgaande bericht het gebruik van de HWA-server iets te eenvoudig geformuleerd.
Voor een aantal 'vertaalklussen' is (vooral in testfase) een hulpserver in bedrijf als frontend/schild/tussenstation voor de HWA-server:
de HWA-server kun je op die manier (bewust) niet benaderen voor een directe upload.
Zelfs als een directe upload zou worden opgetuigd, dan zal vermoedelijk die opzet van toepassing blijven ter afscherming van de HWA-server.
Het geheel kun je dan wel HWA-server noemen, maar het bestaat uit de eigenlijke HWA-server i.c.m. genoemde frontendhulpserver.

Achter de ledenlijsten van CWOP voor Nederland en voor België ligt een hele wereld met APRS-stations.
De originele doelgroep van CWOP bestaat uit APRS-stations met de combinatie van amateur-radiocommunicatie en meteo-waarneming.
Voor weerwaarneming zie je heel vaak dezelfde configuraties toepassen incl. software, die de HWA-forumleden ook gebruiken, dus zeker op dat gebied herkenning en begrip.
Als je in de CWOP-ledenlijst 'Lat/Lon/Map' aanklikt voor een willekeurig CWOP-station en daarna in het menu de keuze 'Nearby APRS-activity',
dan sta je soms verbaasd hoeveel van zulke stations rondom nog meer aanwezig zijn buiten de CWOP-stationslijst.
Een ander zicht daarop via deze weblink: kun je eigen omgeving verkennen met je eigen locatie als zoekterm.
De WX-markers zijn weerwaarnemers: bij aanklikken krijg je nadere info te zien.
Wat ik steeds meer waardeer bij CWOP, is dat je onder 'Location/Meta' voor een weerstation in hun lijst achtergrondinfo incl. kwaliteitsrapportage kunt inzien, zoals bijv. op deze pagina:
je weet welk vlees je in de kuip hebt.
Daarnaast uitgebreide, algemene info hoe je met hun data-interface kunt omgaan,
en ook een overvloed aan informatie voor (adspirant)gebruikers hoe je een weerstation goed configureert en opstelt

Aanpassingen/Opmerkingen 21Mei2024:
Link naar o.a. APRS-kaart en stationsopzet beschrijvingen toegevoegd.
Bij even verderzoeken ook hier in de achtergrond helaas een dreigend stoppen wegens gebrek aan animo voor verderontwikkelen.
Bij stoppen van findu.com zouden zowel de bijbehorende webpagina's als de downloadfiles wegvallen, die we als input voor de HWA-server kunnen gebruiken.