Discussie forum over overige software. Voor vragen, specificaties, ervaringen etc..
#73320
Soms lijkt remote stationsserverdata teruglezen eenvoudiger dan lokale sensordata en/of archiefdata lezen:
op dat idee gebracht door Weatherflow en Ecowitt, waar de basis-opzet is dat je de stationsdata terugleest van hun server.
Zeker interessant als die server ook nog daarbij afgeleide info genereert, die je lokaal niet hebt.
Zo'n functie is ook interessant om vergelijkend andere stations 'netjes' online uit te lezen.

Bij KNMI WOW-NL (afgeleid van de upload-invoer bij WOW-UK) staat bij aangesloten stations in de rubriek 'Meetopstelling' een vinkje als downloaden van stationsdata is toegestaan.
Bij navragen bij KNMI blijkt data opvragen via API-aanroep echter niet mogelijk via WOW-NL
Je kunt wel een Starter_API aanvragen bij MetOfficeUK, via https://mowowprod.portal.azure-api.net
Een webpagina van MetOfficeUK legt uitgebreid uit hoe je daarna data van WOW automatisch kunt downloaden.
[ziet er niet eenvoudig uit, en nogal eens foutmeldingen bij 'eenvoudig' doorklikken, maar ;-) misschien ben ik niet handig genoeg]

De vergelijkbare vraag voor uitlezen bij AerisWeather (aka PWSWeather of XWeather) heeft mogelijk een (eenvoudiger) antwoord op deze toolkit-link

Aanpassing 14Juli2021:
Ontvangen informatie verwerkt in het bericht.

Toevoeging 27Maart2024:
Voor WOW-BE geldt hetzelfde als voor WOW-NL, dus WOW-data uitlezen doe je via WOW-UK/MetOffice!
De ingang heet inmiddels niet meer Starter_API, maar Developer_Portal.

Toevoeging 28Augustus2024:
Aanroep van Weblink naar MetOffice-Portal geeft 503-foutmelding => service onbereikbaar
#74153
Nu het gelukt is om de JSON-files van WUnderground-accounts uit te lezen,
ook kijken of we een vergelijkbare invulling zouden kunnen bereiken voor accounts voor stations van WOW_NL en WOW_BE.
.
Heeft iemand al een werkende, online uitlezing voor eigen of 'andermans' WOW-account?
#75299
Na dit bericht verder gezocht hoe je data uit WOW kunt ophalen.

Download-functies van WOW (bijv. van recentste observatie van een gekozen station) zitten nu in het MetOffice Developer Portal.
Sommige sub-webpagina's van dat Portal lijk je direct publiek te kunnen benaderen,
maar niet apart ingelogd op het Portal, dan heb je toch geen toegang,
en vanzelfsprekend een 'Sorry-foutmelding' dat die weblink niet wordt gevonden.
Dus voor vermijden van eergenoemde foutmeldingen en toegang voor gebruik, eerst registreren voor Development-account ..........
Vergelijkbaar met KNMI's Developer Portal, maar wel weer heel anders in layout, bediening en output.
Een pluspunt van WOW als netwerkdatabron dat je met 1 account deze API kunt gebruiken voor zowel Nederland als België, een verrassende veelheid aan toegankelijke weerstations, en in Nederland zitten ook alle AWSen van KNMI onder dit hoedje, dus je hoeft niet aan te kloppen bij KNMI's Developer Portal [?].
Deze webpagina van KNMI vat kort en bondig samen wat je bij WOW kunt verwachten (en omgekeerd wat WOW van een station verwacht).
Opletten: de genoemde indicatie 'toestemming datadownload' onder tab 'Meetopstelling' vind je alleen via de kaart van WOW-NL, niet bij WOW.BE,
maar dat is geen probleem, want die weblink voor WOW-NL werkt over het hele WOW-werkgebied.

Heeft al iemand ervaring met dit MetOffice/WOW Developer Portal?

Toevoeging 28Augustus2024:
Aanroep MetOffice Development Portal geeft 503-foutmelding => service onbereikbaar
Is vervangen door Datapoint_API => zie volgend bericht
#75560
Op de WOW-NL-kaart staat per station bij 'Meetopstelling' nog steeds de info dat je data wel/niet kunt downloaden,
en bij de FAQs op de KNMI-WOW-webpagina lijkt het ook alsof je stationsdata e.d. zou kunnen teruglezen,
maar de benodigde weblink voor verdere verbinding ontbreekt ......

M.b.t. WOW kun je tegenwoordig MetOffice nog wel bevragen voor verwachtingen en observaties via Datapoint.
Echter kunnen nieuwe gebruikers nu al geen API/keys meer aanvragen vanwege geplande sluiting.
DataPoint is an unsupported service with a planned retirement date of March 2025.
Further details will be provided in due course.
=> Retirement FAQs

De vervanger wordt de MetOffice Weather DataHub.
Bij die DataHub kun je observatie-data van specifieke stations blijkbaar niet meer opvragen,
en zeker buiten de UK is WOW bij Datahub helemaal buiten beeld geraakt.
Vragen aan Support bij MetOffice worden ontwijkend beantwoord.
Met deze nieuwe opzet lijkt deelname aan WOW alleen data-inleveren te worden in ruil voor webvertoning en voor afgeleide verwachtingen,
niet voor ophalen van actuele data en historie van specifieke stations.
Tenzij iemand nog een paadje binnendoor/achterom heeft ontdekt om ‘nationale’ WOW-stationsobservaties uit Nederland of België te pakken te krijgen ......

Toevoeging 12 September2024:
Navraag bij KNMI/WOW-NL levert op dat het mogelijk is om data van je eigen WOW-station en de buren op te vragen in je WOW-stationsvenster als adhoc export van een csv-file over een handmatig gekozen periode tot 1jaar terug. Dus vergelijkbaar met de data-export bij WeatherCloud.
Dat is toch iets anders dan periodiek online via een API uitlezen, zoals gewenst zou zijn voor 'voeding' van de HWA-server en collega's.

Toevoeging 14 September2024:
Bij WOW zijn naast MetOfficeUK en KNMI ook de meteodiensten van Belgie en van Ierland aangesloten, dus voor de hand liggend om te kijken welk mogelijkheden daar voor data-uitlezen zijn.
Bij WOW-Belgie is geen export-functie te vinden, en de export-functie bij WOW_IE is vergelijkbaar met die van Nederland.
Gebruikersavatar
Door wvdkuil
#75575
vlammens schreef: 01 sep 2024, 18:14 Misschien is dit ook een goede databron: https://skyz.be/docs

hiermee kan je ~500 weerstations over de Benelux uitlezen.
Hallo vlammens,

Zeer fraaie website, veel informatie, nette opbouw en geen advertenties.
Daar zouden "commerciële" weerstation websites zoals WU nog iets van kunnen leren.

Heb als test een eigen station toegevoegd.
Werkelijk snel te doen en zeer eenvoudig.
Voor veel weerstation-gebruikers is de informatie op de skyz.be stations pagina meer dan voldoende als een eerste "eigen" website.

Petje af,
Wim

P.S.
Als databron is het volgens mij niet bruikbaar voor HWA.
Immers zowel de HWA.txt als WU worden al ondersteund door HWA, dus dan kan het rechtstreeks van station -> HWA.

En ook voor HWA moet een deelnemer zich aanmelden omdat er andere "goodies" beschikbaar zijn voor deelnemers. Zoals verwachting plaatjes (.png) die eenvoudiger op een website te integreren zijn.
#75577
Mooie verzameling & compilaties van Vincent!

In antwoord op Wim’s opmerkingen: het een sluit m.i. het ander niet uit.
Een persoonlijk account met directe verbinding van weerstation naar een organisatie zoals HWA en zijn collega’s is altijd het best met de kortste route voor data-overdracht met goede datakwaliteit, en geniet o.a. daarom de voorkeur.
‘Probleempje’ bij zo’n data-overdracht is de veelheid aan mogelijke interfacetypen vanuit PWSen, maar HWA heeft inmiddels een ruim assortiment beschikbaar.
Een actief forum heeft meerwaarde als vraagbaak, en 'goodies' zijn altijd welkom.

Hoe dan ook, ook daarmee bereik je bijv. nooit de ideaal sluitende dekking voor het maken van isopleet-kaarten.
Niet zonder reden de pogingen van HWA’s moderatie & beheer om aanvullende stations voor referentie & gapfilling te vinden.
Niet alles wat bereikbaar is, is ook geschikt hebben we gezien bijv. aan de pogingen om publieke Netatmo-stations in te lezen,
en ;) HWA-moderatie & -beheer maakt zich daarom bewust schuldig aan ‘cherry-picking’ bij stations die door hun beheerder zijn vrijgegeven voor data-uitlezing.
Geselecteerde stations uit de lijst van Skyz.be zouden in dat opzicht zeker een rol kunnen spelen:
weliswaar is de dataweg langer dan gewenst, maar er is tenminste een dataweg beschikbaar ........

Wel moet voor de toeschouwer in de HWA-stationslijst steeds duidelijk zijn wat het karakter is van zo’n station, om de inbreng te kunnen inschatten:
daarom voor ‘geleende’ stations (<netwerk>)-info in het naam-label en/of uitleg in de Info-webpagina.
=> Verbeterpuntje voor sommige huidige stations in de stationslijst!.


Toevoeging 05September2024:
Leergeld uit het experiment met de Netatmo-stations =
uit de reeks stations van Skyz.be experimenteel enkele stations gekoppeld naar HWA, voor testen van bestendigheid van het script tegen de optredende variatie in actieve sensorset, want dat werkt voor ieder netwerk weer anders.
Door de start na 1 september van deze testen klopt o.a. de neerslagsom van deze stations niet voor de maand september, door ontbreken van data voorafgaand aan de startdatum.
#75583
Data ophalen en omzetten/vertalen uit een andere website is een technisch 'probleem', oftewel ‘uitdaging’,
waarop ;) met hulp van de kundige mensen in dit forum bijna altijd een praktisch antwoord is te vinden.

Bij o.a. VWK, HWA en WOW wordt naast meteodata in de database ook aanvullende achtergrondinfo vastgelegd, en gepresenteerd, zoals stationsklassificatie/- opstelling en configuratie => inzicht, met meerwaarde voor bezoekers en voor de moderatie.
Zulke info wordt bij genoemde organisaties ingevuld door de gebruikers via hun persoonlijke account, deels bij stationsaanmelding, of daarna als aanvullende info via profiel of beheer.
Die info is voor ‘externe’ anderen nooit als data online uit te lezen:
bij een koppeling wordt dat aspect voor eventuele invulling dus handwerk&interpretatie voor de 'lezende partij'.
Met een beetje geluk kun je betreffende info aflezen van de bron-website,
maar anders o.a. zoekwerk t.a.v. omgeving met bijv. GoogleEarth.
Dat huiswerk kan reden zijn om ‘geleende’ stations maar heel rudimentair in te voegen zonder achtergrond-info:
een (<netwerk>)-markering achter de stationsnaam is bij HWA-stationsnaam een indicatie daarvan.

Bij HWA kan&mag de stationsbeheerder zich met een persoonlijke account en een aangemeld station uitleven welke info hij/zij wil publiceren m.b.t. dat station.
Net zoals bij toepassing van o.a. WU, AWEKAS en CWOP als databron voor HWA staat niets een Skyz-stationsbeheerder in de weg om
- bij HWA een account te openen
- bij HWA zijn/haar station aan te melden met plaatsnaam en Skyz-PWS-ID als identificatie.
De koppeling tussen account en station geeft daarna volledig toegang via de Beheer-webpagina voor info-invulling voor zijn station in de HWA-stationslijst, en volledige communicatie via het forum.
Zo’n station krijgt dan geen markering (Skyz) in de HWA-stationsnaam, want is voor HWA een ‘normaal’ station, met Skyz als databron.
#75588
De toolkit van AerisWeather/XWeather levert uitgebreid en heel variabel allerhande uitlezing voor stations in de database van XWeather in de vorm van data, kaarten of widgets. Leuk om eigen DHZ-toepassingen en -vertoningen in elkaar te zetten.
Beperkte tijd gratis uit te proberen (met max. 1000 calls/dag) met een Developer-account, met bijv. voorbeeld-scripts en Wizards.

De data-output uit die toolkit kan o.a. een JSON-file of GeoJSON-file zijn, die tamelijk eenvoudig verder is te ontleden:
oproep door url-call met daarin conditions/{action}
Code: Selecteer alles
https://data.api.xweather.com/conditions/{action}?client_id={client_id}&client_secret={client_secret}&{params}
Als je voor {action} een geolocatie opgeeft, dan wordt zoals getoond het station gerapporteerd dichtst bij die geolocatie met zijn actuele meteodata.
Voor opvragen van data van een specifiek XWeather-station gebruik je voor {action} de benaming PWS_<stationnaam>, met nagenoeg zelfde output-resultaat.
Wil je de extremen van vandaag sinds middernacht ophalen, dan een aparte url-call gebruiken met variatie conditions/summary/{action} => aparte JSON-file
.
Code: Selecteer alles
{"success":true,"error":null,"response":[{"loc":{"lat":52.29626465,"long":6.8055501},"place":{"name":"hengelo","state":"ov","country":"nl"},"periods":[{"timestamp":1726000860,"dateTimeISO":"2024-09-10T22:41:00+02:00","tempC":13.88,"tempF":56.98,"feelslikeC":13.88,"feelslikeF":56.98,"dewpointC":12.37,"dewpointF":54.27,"humidity":91,"pressureMB":1003,"pressureIN":29.62,"windDir":"SW","windDirDEG":227,"windSpeedKTS":13.37,"windSpeedKPH":24.77,"windSpeedMPH":15.39,"windSpeedMPS":6.88,"windGustKTS":23.03,"windGustKPH":42.66,"windGustMPH":26.51,"windGustMPS":11.85,"precipMM":0,"precipIN":0,"precipRateMM":0.04,"precipRateIN":0.0016,"snowCM":0,"snowIN":0,"snowRateCM":0,"snowRateIN":0,"snowDepthCM":0,"snowDepthIN":0,"pop":17,"visibilityKM":3.17,"visibilityMI":1.97,"sky":100,"cloudsCoded":"OV","weather":"Rain Showers","weatherCoded":":VL:RW","weatherPrimary":"Rain Showers","weatherPrimaryCoded":":VL:RW","icon":"showersn.png","solradWM2":0,"uvi":0,"isDay":false,"spressureMB":1000.9,"spressureIN":29.56,"altimeterMB":1002.7,"altimeterIN":29.61,"solrad":{"azimuthDEG":313.3949,"zenithDEG":112.7628,"ghiWM2":0,"dniWM2":0,"dhiWM2":0,"version":"v2"}}],"profile":{"tz":"Europe\/Amsterdam","tzname":"CEST","tzoffset":7200,"isDST":true,"elevM":18,"elevFT":59}}]}
.
Actieve deelnemers in het ContributorPlan krijgen een Developer-account met een gratis quotum tot 5000 calls/dag zolang hun station data bijdraagt.
Voor anderen stopt na 1 maand het gratis trial-gebruik van zo'n Developer-account:
voor verder gebruik daarna is dan een betaald abonnement vereist.

Aanpassingen 13+15September2024:
Tekst bijgewerkt voor beschrijving van weblinks en abonnementen.