[WeerStationWoerden]

Bedankt Oebele
heb deze nu op een test site staan tot nu toe geen rare dingen meer
wacht het af of dit werkt .. zo ja dat zet ik deze ook op de andere site

bedankt voor het mee denken
en het resultaat in het volgende bericht

Mvg Gert

Oebele schrijft:

Hallo,

Ik denk dat dit het probleem is:

[NC,OR] het laatste "OR" is nodig bij meerdere regels / blokkades en kan niet bij
de laatste of enige regel gebruikt worden, mijn fout dus.

Code: Selecteer alles

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^(.*)AhrefsBot(.*) [NC]
RewriteRule .* - [F,L] 

O. de Zwart

[WeerStationWoerden]

hoi Oebele
heb het getest en het werkte
de file staat nu ook op mijn site en sindsdien geen ahrefsbot meer gezien
bedankt ... dit werkt dus !!

Mvg Gert

WeerStationWoerden schrijft:

Bedankt Oebele
heb deze nu op een test site staan tot nu toe geen rare dingen meer
wacht het af of dit werkt .. zo ja dat zet ik deze ook op de andere site

bedankt voor het mee denken
en het resultaat in het volgende bericht

Mvg Gert

Oebele schrijft:

Hallo,

Ik denk dat dit het probleem is:

[NC,OR] het laatste "OR" is nodig bij meerdere regels / blokkades en kan niet bij
de laatste of enige regel gebruikt worden, mijn fout dus.

Code: Selecteer alles

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^(.*)AhrefsBot(.*) [NC]
RewriteRule .* - [F,L] 

O. de Zwart

[Oebele]

Hallo,

Mooi, bedankt voor het terugkoppelen.

O. de Zwart

[lammertsm]

Deze Ahrefs robot is inmiddels ook mijn site aan het leeg slurpen.

http://blocklistpro.com/content-scraper ... ybots.html

Onderstaande heb ik in .htaccess gezet.

Code: Selecteer alles

order allow,deny
deny from ahrefs.com
allow from all

[WeerStationWoerden]

bij mij hoofdzakelijk het script WU_History.php
ik heb zo het idee dat het bij jou ook het geval is ?
Mvg Gert


lammertsm schrijft:

Deze Ahrefs robot is inmiddels ook mijn site aan het leeg slurpen.

http://blocklistpro.com/content-scraper ... ybots.html

Onderstaande heb ik in .htaccess gezet.

Code: Selecteer alles

order allow,deny
deny from ahrefs.com
allow from all

[lammertsm]

Ja, De WU historische gegevens werden veelvuldig geraadpleegd, tevens werdt er gepoogd om gegevens te downloaden ver voor dat ik weergegevens upload naar WU

WeerStationWoerden schrijft:

bij mij hoofdzakelijk het script WU_History.php
ik heb zo het idee dat het bij jou ook het geval is ?
Mvg Gert


lammertsm schrijft:

Deze Ahrefs robot is inmiddels ook mijn site aan het leeg slurpen.

http://blocklistpro.com/content-scraper ... ybots.html

Onderstaande heb ik in .htaccess gezet.

Code: Selecteer alles

order allow,deny
deny from ahrefs.com
allow from all

[teesee64]

Dat is mij ook opgevallen op mijn site. Maar ik heb de indruk dat dit geen robot is maar iemand die gebruik maakt van mijn weerdata.
De IP adressen die gebruikt worden zijn allemaal TOR of proxy

[Overijse]

teesee64 schrijft:

Dat is mij ook opgevallen op mijn site. Maar ik heb de indruk dat dit geen robot is maar iemand die gebruik maakt van mijn weerdata.
De IP adressen die gebruikt worden zijn allemaal TOR of proxy

klopt is GEEN ROBOT maar een SCRAPER.