Hallo,

Ik heb een vraag; Worden extreme waarden op HWA uitgefilterd in de dagrecords? Vanochtend (6 sept.) was hier in Vaassen de minimumtemp 3,8?C. Op het moment dat ik keek op HWA, rond 7 uur, stond Vaassen als laagste temp van de dag. Later op de dag zag ik dat dit vervangen was door een ander station (Dieren, 5,1?) Dit heb ik vaker gezien als een ander station op de Veluwe, Vierhouten, die ook vaak beduidend lagere waarden meet dan andere stations, eerst genoemd wordt bij de dagrecords, en later verwijderd wordt.
Ik ben erg benieuwd op basis van welke criteria de extremen gefilterd worden, en of dat door een moderator gedaan wordt, of automatisch. Natuurlijk moeten fouten er uitgehaald worden, maar een afwijkende meting hoeft geen foute meting te zijn.
Het gaat mij absoluut niet om een "recordjacht", maar zijn juist de verschillen van de stations niet de krenten in de pap? Misschien is het op de Veluwe wel kouder in heldere nachten, misschien waait 't op de pier van Holwerd wel harder, misschien is Zuid Limburg in de zomer wel warmer. En misschien hoort dat wel zo!
Ik ben erg benieuwd naar jullie mening en ervaringen met lokale extremen.

Gerhard
www.weeropdeveluwe.nl

fotogw schrijft:

Hallo,

Ik heb een vraag; Worden extreme waarden op HWA uitgefilterd in de dagrecords? Vanochtend (6 sept.) was hier in Vaassen de minimumtemp 3,8?C. Op het moment dat ik keek op HWA, rond 7 uur, stond Vaassen als laagste temp van de dag. Later op de dag zag ik dat dit vervangen was door een ander station (Dieren, 5,1?) Dit heb ik vaker gezien als een ander station op de Veluwe, Vierhouten, die ook vaak beduidend lagere waarden meet dan andere stations, eerst genoemd wordt bij de dagrecords, en later verwijderd wordt.
Ik ben erg benieuwd op basis van welke criteria de extremen gefilterd worden, en of dat door een moderator gedaan wordt, of automatisch. Natuurlijk moeten fouten er uitgehaald worden, maar een afwijkende meting hoeft geen foute meting te zijn.
Het gaat mij absoluut niet om een "recordjacht", maar zijn juist de verschillen van de stations niet de krenten in de pap? Misschien is het op de Veluwe wel kouder in heldere nachten, misschien waait 't op de pier van Holwerd wel harder, misschien is Zuid Limburg in de zomer wel warmer. En misschien hoort dat wel zo!
Ik ben erg benieuwd naar jullie mening en ervaringen met lokale extremen.

Gerhard
www.weeropdeveluwe.nl

Hoi Gerhard,

Ja ik weet dat er inderdaad gefilterd wordt op de max en min waardes die doorgegeven worden.

Dit is om te voorkomen dat iemand met bijvoorbeeld een defecte (of storende) regenmeter (wat in het verleden nogal eens voorkwam) ineens een onwaarschijnlijk grote hoeveelheid neerslag rapporteert en daarmee de boel verkeerd beinvloed.

Hoe deze filtering wordt gedaan, weet ik niet precies. Maar ongetwijfeld kan Luc je daar meer over vertellen.

Groeten

Theo

Bedankt Theo!

Ja, een site als HWA moet natuurlijk onrealistische waarden eruit halen. En maar goed dat dat gebeurt! Maar ik ben vooral benieuwd hoe die correcties uitgevoerd worden. Hopen dat Luc tijd heeft om te reageren. Maar die is druk met mooie nieuwe dingen op de site (actuele neerslag!!)

thx, Gerhard

De extremen worden inderdaad gefilterd. Dit is om nodig storingen uit te sluiten van de extremen en van de weerkaartjes. Op dit moment zit er een automatisch filter op de temperaturen. Op neerslag en wind zit geen automatisch filter.

Dit filter werkt op basis van standaard afwijking, oftewel standaard deviatie. Er is in dit forum al veel geschreven over standaard afwijkingen (probeer de zoekfunctie maar eens).

De standaardafwijking is de statistische maatstaf van de spreiding van een variabele rond zijn gemiddelde. De standaardafwijking geeft weer hoe de waarden van de variabelen gemiddeld gegroepeerd zijn rond het gemiddelde. Een geringe standaardafwijking betekent dat de waarden dicht bij het gemiddelde liggen, en omgekeerd.

Hoe heb ik dit filter toegepast op HWA?
Ik heb in excel een rekenvoorbeeld gemaakt om te laten zien, hoe dit werkt. Stel je hebt de volgende temperatuurreeks voor maximum temperaturen:

4
6
5
5
10
3
4
5
5
4
6
5
5
4
5
4
4
3
5
3


Gemiddelde temperatuur: 4,75
Standaard afwijking: 1,517442447

gemiddelde + 1 maal standaard afwijking: 6,267442447
gemiddelde + 2 maal standaard afwijking: 7,784884893
gemiddelde + 3 maal standaard afwijking: 9,30232734
gemiddelde + 4 maal standaard afwijking: 10,81976979
gemiddelde + 5 maal standaard afwijking: 12,33721223

Temperaturen hoger als het gemiddelde + 3 maal de standaard afwijking worden uitgefilterd. De 10 graden in dit voorbeeld valt dus buiten de boot.

Hoe groter het aantal waardes in de reeks, hoe beter het filter werkt.

De afgelopen jaren heb ik flink geëxperimenteerd met dit filter. Proefondervindelijk heb ik vastgesteld dat het filter in de zomer en de winter anders moet worden afgesteld. Het filter van de minimum temperatuur wijkt ook af t.o.v. het filter voor de maximum temperatuur. Voorheen pastte ik met het wisselen van de seizoenen het filter handmatig aan. Dat heb ik nu geautomatiseerd. De volgende filters zijn vanaf nu van toepassing:

van april tot en met september:
Minimum temperaturen: gemiddelde + 4 maal standaard afwijking
Maximum temperaturen: gemiddelde + 3 maal standaard afwijking

van oktober tot en met maart:
Minimum temperaturen: gemiddelde + 5 maal standaard afwijking
Maximum temperaturen: gemiddelde + 4 maal standaard afwijking

Ik heb een excelsheet toegevoegd zodat je eventueel zelf wat kunt testen met wat waardes.

Overigens worden ook alleen weerstations meegenomen bij de extremen, die gebruik maken van een afgeschermde sensor (zoals aangegeven in de beheermodule).

Omdat deze vraag vaak voorbij komt op het forum. Het ik een 'sticky post' gemaakt van dit topic.

Gr,
Luc

Bedankt voor de uitleg Luc!
Goed om te zien hoe je probeert zo correct mogelijke gegevens op HWA te krijgen!
Is het misschien een overweging om met name bij de minimumtemp een wat ruimere deviatie te kiezen?
De minima verschillen volgens mij meer dan de maximumtemp door uitstraling in 't binnenland, tegenover een station aan de kust die "opwarmt" door bijv. de zee of het IJsselmeer. Die verschillen zullen denk ik met name in het najaar zichtbaar zijn.

Gerhard
www.weeropdeveluwe.nl

fotogw schrijft:

Is het misschien een overweging om met name bij de minimumtemp een wat ruimere deviatie te kiezen?
De minima verschillen volgens mij meer dan de maximumtemp door uitstraling in 't binnenland, tegenover een station aan de kust die "opwarmt" door bijv. de zee of het IJsselmeer. Die verschillen zullen denk ik met name in het najaar zichtbaar zijn.

Bij de minima heb ik al een ruimere deviatie dan bij de maxima. In de wintermaanden wordt deze bovendien nog ruimer. Uit experimenten blijkt dat dit het beste resultaat oplevert. Een nog strenger filter (van 6x standaard afwijking) heb ik nog niet getest. Volgens mij is dat niet nodig.

Probleem was echter dat ik meerdere keren per jaar met het veranderen van de seizoenen, de filters handmatig moest aanpassen in de code. Dat werd weleens vergeten of te laat doorgevoerd, waardoor vooral in het begin van het winterseizoen teveel werd gefilterd.

Dat heb ik nu geautomatiseerd.

Gr,
Luc

Luc schrijft:

fotogw schrijft:

Is het misschien een overweging om met name bij de minimumtemp een wat ruimere deviatie te kiezen?
De minima verschillen volgens mij meer dan de maximumtemp door uitstraling in 't binnenland, tegenover een station aan de kust die "opwarmt" door bijv. de zee of het IJsselmeer. Die verschillen zullen denk ik met name in het najaar zichtbaar zijn.

Bij de minima heb ik al een ruimere deviatie dan bij de maxima. In de wintermaanden wordt deze bovendien nog ruimer. Uit experimenten blijkt dat dit het beste resultaat oplevert. Een nog strenger filter (van 6x standaard afwijking) heb ik nog niet getest. Volgens mij is dat niet nodig.

Probleem was echter dat ik meerdere keren per jaar met het veranderen van de seizoenen, de filters handmatig moest aanpassen in de code. Dat werd weleens vergeten of te laat doorgevoerd, waardoor vooral in het begin van het winterseizoen teveel werd gefilterd.

Dat heb ik nu geautomatiseerd.

Gr,
Luc

Is het automatisch filter soms kapot.
Een temperatuur verschil van 8.8°C op het gemiddelde en nog niet uitgefilterd.
Of valt dit nog binnen de normen.

Groet Jan

jango schrijft:

Luc schrijft:

fotogw schrijft:

Is het misschien een overweging om met name bij de minimumtemp een wat ruimere deviatie te kiezen?
De minima verschillen volgens mij meer dan de maximumtemp door uitstraling in 't binnenland, tegenover een station aan de kust die "opwarmt" door bijv. de zee of het IJsselmeer. Die verschillen zullen denk ik met name in het najaar zichtbaar zijn.

Bij de minima heb ik al een ruimere deviatie dan bij de maxima. In de wintermaanden wordt deze bovendien nog ruimer. Uit experimenten blijkt dat dit het beste resultaat oplevert. Een nog strenger filter (van 6x standaard afwijking) heb ik nog niet getest. Volgens mij is dat niet nodig.

Probleem was echter dat ik meerdere keren per jaar met het veranderen van de seizoenen, de filters handmatig moest aanpassen in de code. Dat werd weleens vergeten of te laat doorgevoerd, waardoor vooral in het begin van het winterseizoen teveel werd gefilterd.

Dat heb ik nu geautomatiseerd.

Gr,
Luc

Is het automatisch filter soms kapot.
Een temperatuur verschil van 8.8°C op het gemiddelde en nog niet uitgefilterd.
Of valt dit nog binnen de normen.

Groet Jan

Het automatisch filter geldt enkel bovenaan op de hoofdpagina van HWA, niet bij de extremen onderaan op de pagina.

Bij deze is de extreme temp, eruit gehaald.

Grtz
Kris

PS: sorry als we niet 24/24 online zijn om dit manueel eruit te halen.