Facebook als badbot bekämpfen
Facebook nervt zunehmend mit immer haarsträubenden Verletzungen gegen Datenschutzbestimmungen. Neuster Clou ist die Einverleibung von Inhalten aus Links.
Hier ist für mich die Grenze erreicht, wo ich Facebook als "Badbot" einstufen muss.
Was also tun, um die eigenen Webserver vor Facebook zu schützen?
Ich habe fail2ban angepasst, damit Facebook als Badbot angesehen wird.
Hier ist für mich die Grenze erreicht, wo ich Facebook als "Badbot" einstufen muss.
Was also tun, um die eigenen Webserver vor Facebook zu schützen?
Ich habe fail2ban angepasst, damit Facebook als Badbot angesehen wird.
Die Konfigurationen sehen so aus:
/etc/fail2ban/jail.conf erweitern:
Dies aktiviert den badbot filter von fail2ban. Man muss entsprechend den richtigen access.log für seine Server verwenden. Durch Links kann man mehrere vserver abdecken.
maxentry habe ich auf 1 gestellt, d.h. einmal darf der bot zum Erkennen zugreifen.
bantime habe ich auf ein Jahr gestellt. Unendlich wollte ich nun nicht. Vielleicht ändert FB ja mal die IPs zum scannen und gibt andere wieder frei.
/etc/fail2ban/filter.d/apache-badbots.conf erweitern
Hier also den badbotcustom Eintrag mit dem Facebookbot erweitern. Den Eintrag habe ich in den access.log gefunden, kopiert und noch in ein reguläre Ausdruck umgewandelt.
fail2ban neu starten, fertig ist der Facebookbadbotblocker.
/etc/fail2ban/jail.conf erweitern:
[apache-badbots]
enabled = true
port = http,https
filter = apache-badbots
logpath = /var/log/apache2/*access.log
maxretry = 1
bantime = 1314000
Dies aktiviert den badbot filter von fail2ban. Man muss entsprechend den richtigen access.log für seine Server verwenden. Durch Links kann man mehrere vserver abdecken.
maxentry habe ich auf 1 gestellt, d.h. einmal darf der bot zum Erkennen zugreifen.
bantime habe ich auf ein Jahr gestellt. Unendlich wollte ich nun nicht. Vielleicht ändert FB ja mal die IPs zum scannen und gibt andere wieder frei.
/etc/fail2ban/filter.d/apache-badbots.conf erweitern
[Definition]
badbotscustom = EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|facebookexternalhit/1\.0 \(\+http\://www\.facebook\.com/externalhit_uatext\.php\)
Hier also den badbotcustom Eintrag mit dem Facebookbot erweitern. Den Eintrag habe ich in den access.log gefunden, kopiert und noch in ein reguläre Ausdruck umgewandelt.
fail2ban neu starten, fertig ist der Facebookbadbotblocker.
2012-06-18 17:32:57,358 fail2ban.actions: WARNING [apache-badbots] Ban 69.171.229.249
2012-06-18 17:32:57,369 fail2ban.actions: WARNING [apache-badbots] Ban 69.171.234.6
2012-06-18 17:32:57,381 fail2ban.actions: WARNING [apache-badbots] Ban 69.171.228.246
2012-06-18 17:32:57,392 fail2ban.actions: WARNING [apache-badbots] Ban 69.171.234.3
2012-06-18 17:32:58,405 fail2ban.actions: WARNING [apache-badbots] Ban 69.171.224.0
Trackbacks
Keine Trackbacks
Kommentare
Ansicht der Kommentare: Linear | Verschachtelt