[WeerStationWoerden]

Hallo allemaal
Heb de laatste tijd last van een robot
Die per dag veel langs komt op mijn site
Hoe kan ik deze blokkeren
Heb al een txt file in de root staan maar dat werkt niet
Gaan om ahrefsbot

Mvg Gert

[pdw112]

zoek op google op ahrefsbot blokkeren.

user-agent: AhrefsBot
disallow: /

[WeerStationWoerden]

bedankt maar dat is het nu net
deze werkt niet ?


pdw112 schrijft:

zoek op google op ahrefsbot blokkeren.

user-agent: AhrefsBot
disallow: /

[teesee64]

Waarom zou je robots willen blokkeren?

[Overijse]

teesee64 schrijft:

Waarom zou je robots willen blokkeren?

Is een scraper die niet luistert naar robots.txt.

Ipranges van de robot blokkeren via htaccess, effe google naar "ahrefsbot blokkeren htaccess" en je wordt op je wenken bedient ook voor de ipranges te vinden.

Grtz
Kris

[WeerStationWoerden]

Bedankt Kris
had zelf ook al gezocht en kwam uit op de robots.txt
nu dus op een andere manier ben benieuwt of deze wel werkt
heb het niet gedaan via htaccess
maar via PHP dus ben benieuwt
als dit niet werkt dan via htaccess

Mvg Gert


Overijse schrijft:

teesee64 schrijft:

Waarom zou je robots willen blokkeren?

Is een scraper die niet luistert naar robots.txt.

Ipranges van de robot blokkeren via htaccess, effe google naar "ahrefsbot blokkeren htaccess" en je wordt op je wenken bedient ook voor de ipranges te vinden.

Grtz
Kris

[WeerStationWoerden]

inmiddels weer een dag verder
blokken via PHP werkte niet
blokken via htaccess wil niet lukken
als ik dat doet is de website offline
iemand een goede htaccess file ?
kom hier dus niet uit

Mvh Gert




WeerStationWoerden schrijft:

Bedankt Kris
had zelf ook al gezocht en kwam uit op de robots.txt
nu dus op een andere manier ben benieuwt of deze wel werkt
heb het niet gedaan via htaccess
maar via PHP dus ben benieuwt
als dit niet werkt dan via htaccess

Mvg Gert


Overijse schrijft:

teesee64 schrijft:

Waarom zou je robots willen blokkeren?

Is een scraper die niet luistert naar robots.txt.

Ipranges van de robot blokkeren via htaccess, effe google naar "ahrefsbot blokkeren htaccess" en je wordt op je wenken bedient ook voor de ipranges te vinden.

Grtz
Kris

[Oebele]

Hallo,

Probeer het hier maar ééns mee:

Maak een .htaccess bestand en zet deze code erin.

Code: Selecteer alles

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^(.*)AhrefsBot(.*) [NC,OR]
RewriteRule .* - [F,L] 

O. de Zwart

[WeerStationWoerden]

hoi Oebele
het resultaat was dit ,,,,

Forbidden
You don't have permission to access / on this server.
Additionally, a 403 Forbidden error was encountered while trying to use an ErrorDocument to handle the request.


werkt nu weer iets te goed
Mvh Gert


Oebele schrijft:

Hallo,

Probeer het hier maar ééns mee:

Maak een .htaccess bestand en zet deze code erin.

Code: Selecteer alles

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^(.*)AhrefsBot(.*) [NC,OR]
RewriteRule .* - [F,L] 

O. de Zwart

[Oebele]

Hallo,

Ik denk dat dit het probleem is:

[NC,OR] het laatste "OR" is nodig bij meerdere regels / blokkades en kan niet bij
de laatste of enige regel gebruikt worden, mijn fout dus.

Code: Selecteer alles

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^(.*)AhrefsBot(.*) [NC]
RewriteRule .* - [F,L] 

O. de Zwart