Voor vragen en hulp m.b.t. de instructies om mee te doen. Hulp bij installeren van upload files
#75278
Hieronder een lang stuk tekst, maar een regenachtige dag is een goede gelegenheid om vanuit de moderatie eens een aspect dieper toe te lichten, waarover regelmatig vragen en opmerkingen binnenkomen.

Uitgangspunt
De kern van de stationslijst van HetWeerActueel bestaat uit weerstations van individuele, particuliere eigenaren, met een afgesproken kwaliteitsniveau.
HetWeerActueel als vrijwilligersorganisatie hanteert daarbij het principe van 'wederkerigheid':
- voor het datadeel brengen de stationseigenaren hun data en informatie in, en HetWeerActueel is platform voor gecompileerde vertoning en voor Nederlandstalige discussie (gericht op kennisoverdracht en hulp), om niet.
- voor het forumdeel bestaat de inbreng door het uitwisselen van berichten over allerhande onderwerpen die met meteo van doen hebben.
De grafiekcompilatie concentreert zich op de basis-elementen temperatuur, neerslag en wind, met voor de stations zowel geregistreerde waarden als ook bijbehorende, afgeleide voorspellingen.
Met de datavertoning behalen we een bepaalde dekking voor ons werkgebied, met de kracht dat je samenhangen en tendenzen kunt gaan zien in het opgebouwde beeld, die lokaal buiten je bereik zijn.
Bij HetWeerActueel is de genoemde compilatie het eindpunt en hoofddoel voor de dataflow:
geen verdere data-verdeling dan geïntegreerd in kaarten, grafieken en tabellen.
Zou je wel over een verdere verdeling gaan denken, dan hoogstens als verlengstuk in de richting van een vrijwilligersorganisatie met dezelfde uitgangspunten en visie,
steeds op basis van toestemming door de originele dataverstrekkers,
met heldere afspraak over toepassing & distributie,
en op basis van 'wederkerigheid', oftewel HWA mag dan data van die andere organisatie uitlezen en toepassen.


Vooral bij bijzondere weersomstandigheden (zoals zware neerslag) merken we dat voor zo'n vertoning hoge(re) resolutie gewenst is (oftewel meer stations), want anders mis je de krenten in de pap …..
Hoe dichter en constanter de gebiedsdekking, hoe beter het beeld, dus ook als je buurman al bijdraagt, dan is nog steeds jouw inbreng steeds zeer welkom.
Sommige gebieden blijven echter karig bedeeld, omdat de bewoning daar dun is (en/of weerwaarnemers schaars), en voor betere invulling moeten dan andere databronnen worden gezocht.
Liefst in overleg met betreffende stationsbeheerders (i.v.m.betrokkenheid, en voor info over configuratie en achtergronden), maar tenminste met zijn/haar toestemming:
geen webscraping o.i.d. om de stationsdata op te halen.


Netwerkinterfaces als aanvulling/referentie
Meteonetwerken zijn daarvoor zeker kandidaat naast de individuele stations, met vaak als voordeel dat ze in 1 klap meerdere stations kunnen toevoegen in een gebied.
Soms omdat hun stations van onverdachte, hoge kwaliteit zijn, zoals bij KNMI en WRIJ, en daarmee niet alleen aanvulling, maar ook wederzijds referentie brengen binnen de HWA-collectie.
De 2 bovengenoemde organisaties zijn (in dit opzicht) passend bij HetWeerActueel, want niet-commerciëel, wel 'algemeen nut / gouvernementeel', en in sommige opzichten ook opererend met principe van wederkerigheid (denk bijv. aan de WOW-inbreng voor KNMI, en de gratis beschikbaarheid van data uit KNMI- en KMI-registraties).
Zulke databronnen worden in de HWA-stationslijst voor beheer anders behandeld dan particuliere stations en daarom duidelijk gemarkeerd in naamlabel en Info-webpagina.

Netwerkinterfaces als 'bemiddelaar'
Een andere categorie netwerk is als het netwerk ‘bemiddelaar’ is tussen een particulier station en HetWeerActueel:
dat is nodig als het station zijn data wil delen, maar een interface heeft die niet of moeilijk is te gebruiken voor direct compatibele data-overdracht.
Voorbeeldnetwerken: BMCB, WUnderground, AWEKAS.
Behalve technische invulling is BMCB deels vergelijkbaar met HetWeerActueel, voor data acterend op basis van vrijwilligheid en wederkerigheid, om niet, maar ook dataverdeling naar meer commerciële organisaties.
In het geval van BMCB kunnen de stations niet individueel hun data naar ‘elders’ sturen, maar zitten in een gesloten net: een server bundelt (met toestemming van de betreffende stationseigenaren) de data uit een reeks weerstations in België, en deze gebundelde data wordt doorgegeven naar een aantal andere organisaties, als data-bijdrage voor het Belgische deel van de weerkaarten en -tabellen.
Een station uit die bundel zal bij HetWeerActueel in zijn info-pagina een bron-identificatie krijgen, maar verder (nog) geen aparte markering anders dan een afgesproken extensie in het stationsnaamlabel.

Aansluiting op HetWeerActueel vanuit WUnderground is een voorbeeld-aanpak voor weerstations die wel zelf een interface naar die netwerk-organisatie kunnen realiseren als verbinding naar ‘elders’, maar moeite of onmogelijkheid hebben in andere richtingen. WUnderground acteert dus als 'bemiddelaar'.
AWEKAS is een voorbeeld voor een 'bemiddelaar-met-toegevoegde-waarde' i.v.m. de afgeleide waarden die dat systeem genereert.
In overleg met de betreffende stationseigenaren kan dan door HetWeerActueel de API van WUnderground resp. de API van AWEKAS gebruikt worden om de stationsdata uit dat netwerk te trekken.
Geen aparte markering, want behalve de API-interface zijn dit voor HetWeerActueel ‘normale’ stations.
In feite is voor deze opzet oninteressant of het databron-netwerk wel of niet commercieel is,
want de stations-eigenaar stelt immers eigen stationsdata ter beschikking met aangereikte, legale downloadmiddelen,
en het lijkt sterk dat een netwerk-organisatie dat kan & durft te verbieden.
Hoewel een nog duidelijker commerciële insteek zoals o.a. geadverteerd bij XWeather/Aeris/PWSWeather voor HetWeerActueel een reden is om zo’n organisatie niet enthousiast te omarmen:
"The AerisWeather Contributor Plan permits commercial usage."
Hoewel? WUnderground is aantrekkelijk vanwege populariteit, maar heeft eenzelfde uiting onderaan zijn webpagina's, en ook daarom - als gekozen kan worden - een duidelijke voorkeur voor AWEKAS als netwerk-'bemiddelaar' voor HetWeerActueel.

Andere netwerken waaruit stationsdata kan worden getrokken zijn bijv. WOW en CWOP:
beide ook opgezet met vrijwillige data-bijdrage en wederkerigheid in gedachten, goede achterliggende kwaliteit, maar voor data-download ‘onbekend, maakt onbemind’.
Veel stations op de lijsten van WOW en CWOP kennen we al met een andere interface naar HetWeerActueel, maar bij beide netwerken daarnaast een aantal ‘onbekende kandidaten’.
MetOffice-WOW is/was te benaderen via hun DeveloperPortal, maar dat is net als bij KNMI niet zo eenvoudig.
De CWOP-interface naar HetWeerActueel daarentegen is redelijk eenvoudig (en constant):
zie de betreffende Handleiding-rubriek.
Als een stationsbeheerder zijn CWOP-callsign aanmerkt als databron voor HWA, dan is dat een ‘normaal’ station, en krijgt het geen aparte markering.
Vanzelfsprekend zijn er ook tussenvormen die niet passen in een beschikbaar vakje:
in zo’n geval niet aarzelen, maar de moderatie vragen of/hoe in te passen ….

WeatherCloud is een populair netwerk waaraan stations leveren, maar de output beperkt zich tot dashboard, grafieken en tabellen, en een uitlezing van een gekozen segment naar een csv-file voor de stationsbeheerder.
Geen datauitlezing vanuit WeatherCloud mogelijk voor derden:
in dat opzicht dan weer vergelijkbaar met HWA.
WeatherCloud-upload zit vaak bij een stationslevering in hetzelfde stuk stationssoftware dat WU-upload verzorgt, dus dan data-afgifte van zulke stations naar derden weliswaar niet mogelijk als afgeleide via WeatherCloud, maar wel via WU.


Aanpassing 24Maart2024:
ingekort.

Aanpassingen 25~31Maart2024:
tussentitels ingevoegd met bijbehorende teksten, en meer uitleg over de netwerk-organisaties.

Aanpassing 27Juni2024:
Tekst mbt WeatherCloud toegevoegd.


Aanpassing 16+24Maart2025 en 18April2025:
Tekst bijgewerkt.[/size]
#75296
Toevoeging: Kwaliteitscontrole bij netwerkstations

Voor aansluiting van individuele weerstations worden eisen gesteld aan techniek, opstelling en daaruit voortvloeiende kwaliteit:
zie o.a. de berichten in dit forum met kenwoord 'Richtlijnen'.
Het HWA-forum heeft voor kwaliteitscontrole daarnaast filters die de binnenkomende stationsdata vergelijken en filteren, met de moderators en de systeembeheerder als 'achterwacht'.
VWK heeft een vergelijkbare kwaliteitscontrole op binnenkomende data.
Het is de bedoeling dat ook aangekoppelde netwerkstations minstens aan basis-eisen voldoen.
Bij KNMI en WRIJ zorgen de achterliggende organisaties daarvoor o.a. met uitgebreide statistische behandeling van de data.
Voor sensoren en opstelling in techniek en prestatie voldoen aan de WMO-normen zou vanzelfsprekend moeten zijn.
Bij BMCB is kwaliteit een speerpunt bij techniek, bij plaatsing en bij verwerking, dus dat aspect is daar geregeld.
Bij AWEKAS is de kwaliteitscontrole vergelijkbaar met HWA, en bekend als 'streng', en daardoor met uitgebreide outputdata zeer bruikbaar als databron voor toepassingen.
Bij WUnderground zou de kwaliteitscontrole moeten kloppen, maar onduidelijk hoe, en de API-informatie voor sommige stations wijkt soms (on)behoorlijk af van wat de betreffende beheerder lokaal ziet, wat twijfel zaait.
CWOP heeft wel een duidelijke kwaliteitscontrole en -rapportage, maar als advies&hulpmiddel aan de stationsbeheerder, zonder online ingrijpen door moderatie of beheer.
Pluspunt van CWOP-stations is dat de beheerders meestal zeer gemotiveerde weerliefhebbers zijn, met goed begrip voor benodigde kwaliteitsaspecten, dus nette data te verwachten.
Op de websites van achterliggende organisaties van WOW (zoals MetOffice/WOW-UK, WOW-BE, WOW-EI en WOW-NL) staat dat er bij WOW geen ingangskwaliteitscontrole is, maar pas bij de afgeleide toepassingen binnen die organisaties, dus wat je vanuit WOW als stationsbeheerder of outsider als stationsdata zou kunnen lezen, is ‘ongefilterd’.

Voor 'gapfilling' in gebieden zonder anders aangemelde stations is in dit forum vanwege de beschikbaarheid van 'publieke data' ook gekeken naar Netatmo als netwerkpartner, maar uit ervaring blijken publieke Netatmo-stations vaak van onduidelijke, soms bedenkelijke kwaliteit & stabiliteit:
zie de betreffende, eerdere berichten in dit forum.
Op zich is ook met Netatmo's data-opzet wel iets te doen, zoals WRIJ demonstreert, die ca. 400 Netatmo-stations uitleest in zijn werkgebied, maar dat werkt dus alleen door het grote aantal over een beperkt gebied, in combinatie met grote inzet van statistiek!
Zoiets is ver buiten de mogelijkheden van HWA en collega's ..........

Andere netwerken zijn niet bekeken op kwaliteitsaspecten, omdat de benodigde achtergrond-info ontbreekt (en omdat we de hoeveelheid variatie willen beperken).
#75916
Waarom vragen we vanuit HWA uitdrukkelijk om toestemming aan een stationsbeheerder voor uitlezing van een netwerk-account?

Als een stationsbeheerder zich bij HWA aanmeldt voor inbreng van zijn stationsdata via de directe weg vanaf zijn station over een uitlees-url naar de HWA-server, dan geen discussie over de gebruiksrechten door HWA als Eindgebruiker, want in deze 2partijenopzet weet de stationsbeheerder wat HWA van plan is met zijn data en stemt daar bewust mee in door zijn aanmelding.

Als een stationsbeheerder een netwerk-account aanwijst als databron voor HWA (bijv. bij WUnderground), dan is weliswaar voor zowel de stationsbeheerder als HWA duidelijk wat de bedoeling is, maar er staan in de gebruiksvoorwaarden van WUnderground allerlei aspecten aangegeven over rechten & plichten tussen WU en de stationsbeheerder, en ook gebruiksrechten die door een Eindgebruiker met WUnderground als 'bemiddelaar' zouden moeten worden geregeld.
Er staat niets over de verhouding in deze 3partijenopzet tussen de stationsbeheerder als eigenaar van de originele databron en een Eindgebruiker (zoals HWA),
want die stationsbeheerder heeft bij de meeste commerciële 'bemiddelaar'-opzetten de gebruiksrechten uit handen gegeven.
Bij HWA zijn we van mening dat toch steeds de stationsbeheerder als data-originator over het traject van bron t/m toepassing bepaalt wat er uiteindelijk met zijn stationsdata mag worden gedaan, ondanks bijkomende voorwaarden van een 'bemiddelaar', en daarom zullen we altijd proberen uitdrukkelijke toestemming te verkrijgen van de originele stationsbeheerder m.b.t. datagebruik.
In een stationsaanmelding naar HWA door de stationsbeheerder met opgave van een netwerk-account als databron is dat aspect a.h.w. 'ingebouwd'.
Puur juridisch misschien discutabel, maar beter bij voorbaat end-to-end helder & pragmatisch zijn om niet te gaan verzeilen in discussies over gebruiksrechten & -plichten, e.d.
Krijgen we desondanks een discussie met een 'bemiddelaar' zonder uitkomen bij een praktisch werkbare oplossing, dan is de conclusie dat voor HWA die 'bemiddelaar' niet in aanmerking komt als databron.


Bij sommige netwerken met private stations als databronnen zou je technisch misschien regelrecht een account kunnen uitlezen, maar in het zicht van het bovenstaande vinden we dat bij HWA niet netjes omgaan met de eigendomsrechten van de originele stationsbeheerder, dus ook daar zullen we proberen zijn directe toestemming te krijgen: lukt dat niet, dan zijn we terughoudend met ongevraagd uitlezen (en dan zeker vertoning met bronvermelding en uitleg).

De 'publieke' interfaces van KNMI, KMI met hun afgeleide leveranciers en ook bijv. het Public-deel van Netatmo zijn helder in hun gebruiksvoorwaarden, en HWA zal daaraan zo goed als technisch mogelijk proberen tegemoet te komen, bij voorkeur via directe interface.
#75942
Waarom (nog) geen HWA-interfaces voor netwerkdata-uitlezing vanuit/via Netatmo, WeatherCloud, WOW, XWeather?
XWeather was voorheen bekend als PWSWeather en AerisWeather.

Met de uitlees-API-interfaces voor WUnderground en voor AWEKAS en met het CWOP-uitleesscript zijn er al goede mogelijkheden voor selectieve netwerk-uitlezing van stationsdata naar HetWeerActueel, anders dan rechtstreeks via softwarepakketten, zoals beschreven in voorgaande forumberichten.
Vermoedelijk hebben hiermee de meeste stations de mogelijkheid van een netwerkuitlezing voor HetWeerActueel.
Voorkeur van HWA-beheer op basis van bepaalde eigenschappen:
- WUnderground is wijd verbreid, dus eenvoudigste keus voor een stationsbeheerder.
Met standaard API-filelayout eenvoudig handelbaar voor de HWA-server.
- AWEKAS minder verbreid, maar heeft in de API-file naast actuele waarden ook afgeleide waarden en extreemwaarden
=> minder werk voor de HWA-server dan voor WUnderground.
Met inline kwaliteitscontrole incl. ingrijpen.
- CWOP nog minder verbreid in ons werkgebied.
Eenvoudige netwerkinterface, die alle benodigde actuele basis-waarden bevat,
maar vraagt bij HWA altijd initieel werk vanwege variaties in filelayout, en rekenwerk voor vulling van de HWA-file
=> (voorlopig) een apart inlees-script nodig per station.
Kwaliteitscontrole, maar alleen rapportage, geen ingrepen.

Het antwoord op de vraag in de eerste regel zou je al kunnen concluderen uit voorgaande forumberichten,
maar in dit bericht kort samengevat met belangrijkste argumenten.

Netatmo-stations zetten hun data gebruikelijk neer op de Netatmo-servers.
Directe Netatmo-interfacing is wel geprobeerd (zie betreffende forumberichten in dit forum), maar
a. de datakwaliteit & stabiliteit van de publiek beschikbare Netatmo-stations valt tegen
=> moeilijk bruikbaar voor gapfilling
b. er heeft zich nooit iemand aangemeld bij HetWeerActueel om via een private Netatmo-interface te gaan uitlezen
=> geen behoefte, of te moeilijk?
c. bovengenoemde interfaces opzetten kost veel moeite, terwijl via Meteoware eenvoudig een dashboard beschikbaar en de data uit een Netatmo-PWS kan via die weg bij WUnderground en bij XWeather worden neergezet, en die 2 organisaties hebben dan weer robuuste uitlees-APIs beschikbaar voor 'bemiddeling' naar HetWeerActueel.
=> kost een stap extra, maar de omweg over WUnderground of XWeather is wel zo eenvoudig,
ook voor enige eenheid in de netwerk-interfacing naar HetWeerActueel.
Daarom wordt geen tijd meer gestoken in een aparte Netatmo-interface voor HetWeerActueel.

Bij veel PWS-pakketten wordt software meegeleverd voor data-upload naar WeatherCloud.
WeatherCloud heeft wel een bruikbaar dashboard, maar kent geen uitlees-API voor periodieke, online upload van stationsdata naar een volgende uitlezer,
dus daarom uit WeatherCloud geen interface mogelijk naar HetWeerActueel.

Bij sommige PWS-pakketten wordt software meegeleverd die naast naar WUnderground en/of WeatherCloud ook kan uploaden naar WOW via MetOfficeUK:
upload naar WOW_MetOfficeUK is voor scripting een variatie op upload naar WUnderground.
WOW heeft naast een eigen websitevertoning per land, en bij MetOfficeUK wel een portal waaruit stationsdata kan worden teruggelezen,
maar gecompliceerde uitlees-API, en wordt daarom niet uitgewerkt voor een input naar HetWeerActueel.
Bovendien nog nooit iemand gevraagd om zijn station via WOW aan te sluiten op HetWeerActueel.

XWeather heeft een data-upload die ook een variatie is op upload naar WUnderground.
Met WUnderground, AWEKAS en CWOP al een redelijke keus voor inputnetwerken voor HWA, en daarom geen echte urgentie voor nog een netwerk toevoegen.
De info uit XWeather's API is wel heel compleet en eenvoudig oproepbaar, en dat pleit voor aansluiting,
want heel weinig databewerking nodig, alleen overname van data.