Aufräumaktion bei den Bots und Crawlern

Interne Angelegenheiten, Technisches rund um das Forum
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
Benutzeravatar

Thread-Starter
DQA (Administrator)
Beiträge: 207
Registriert: 7. Februar 2013, 19:05
Hat sich bedankt: 24 Mal
Danksagung erhalten: 83 Mal
Mann oder Frau?: Ich bin ein MANN
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable

Aufräumaktion bei den Bots und Crawlern

Beitragvon DQA (Administrator) » 10. September 2014, 15:59

Seid gegrüßt

Ich habe kürzlich sehr viele Bots bemerkt, die nicht als solche erfasst waren und als „Gast“ aufgelistet wurden. Der Bot der Suchmaschine Bing (Microsoft), aber auch andere, waren oft sogar zwei- oder dreifach präsent, mit drei verschiedenen IPs. Dann waren das eben drei Gäste. Das ist zwar schmeichelhaft, aber es verfälscht das Bild. Ich würde schon sehr gerne wissen, wie viele „richtige“ Gäste bei uns mitlesen.

Wenn Ihr auf klickt, seht Ihr nur die IP der Gäste (Gastleser sehen auch die IP nicht) und in welchem Unterforum die gerade lesen etc. Ich als Admin sehe zusätzlich noch die Browsersignatur, und dadurch ist ein Bot oder Crawler identifizierbar. So habe ich also alle diese Bots neu in die interne Bot-Tabelle aufgenommen. Auch ein „Dreifacher Bing“ erscheint jetzt nur noch als ein einziger „unsichtbare (oder Bots)“ und die ausgewiesenen Gäste sind von nun an real vor einem Bildschirm sitzende Personen.

Konsequenterweise werden nun alle identifizierten Bots bei „WER WAR DA“ angezeigt. In den letzten 24 Stunden waren das 18(!) solcher Bots oder Crawler. Ich habe keine Ahnung, was die hier wollen, was sie suchen, woher sie so plötzlich kommen. Ich habe die jedenfalls nicht gerufen, im Sinne einer SEO-Maßnahme oder so. Jedenfalls tut mir die Liste „WER WAR DA“, wenn ich sie mir so anschaue, in den Augen weh. Vielleicht sollte ich einige Bots einfach mal aussperren. Klar, Google, Bing, Yahoo etc. natürlich nicht. Aber was uns die chinesische Baidu oder die russische Yandex bringen, kann ich echt nicht sagen. Auch nichts über die vielen anderen kleineren Bots und Crawlers, Ihr seht sie ja selbst in der Liste „WER WAR DA“.

Vom Traffic her (Datenvolumen) habe ich das noch nicht wirklich angeschaut, aber das dürfte eigentlich nicht das Problem sein. Ich behalte das mal im Auge, und vielleicht weiß ja von Euch jemand einen Rat. Gepostet habe ich das hier, weil ich eine besorgte diesbezügliche PN erhielt, und weil das plötzliche Auftauchen und das namentliche Aufführen der Bots in „WER WAR DA“ wahrscheinlich nicht nur dieser Person aufgefallen sein dürften.

DQA
Ich bin KEINE Signatur! Ich mache hier unten einfach nur sauber ... :sauber ...

Benutzeravatar

WilloTse
Beiträge: 1607
Registriert: 10. Januar 2012, 15:31
Hat sich bedankt: 330 Mal
Danksagung erhalten: 308 Mal
Mann oder Frau?: Ich bin ein MANN
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable

Re: Aufräumaktion bei den Bots und Crawlern

Beitragvon WilloTse » 10. September 2014, 18:19


Benutzeravatar

Thread-Starter
DQA (Administrator)
Beiträge: 207
Registriert: 7. Februar 2013, 19:05
Hat sich bedankt: 24 Mal
Danksagung erhalten: 83 Mal
Mann oder Frau?: Ich bin ein MANN
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable

Re: Aufräumaktion bei den Bots und Crawlern

Beitragvon DQA (Administrator) » 10. September 2014, 18:31

Ja, Willo

Du hast recht. Ihr seht die IP der Gäste nicht. Und über die Gäste, die sich angeblich „im persönlichen Bereich“ befinden, bin ich auch schon gestolpert. Aber da ist nix dran. Weiß der Geier, was sich die Software da wieder auskegelt [pardon]

DQA
Ich bin KEINE Signatur! Ich mache hier unten einfach nur sauber ... :sauber ...

Benutzeravatar

fetsecht
Beiträge: 989
Registriert: 27. Januar 2010, 11:41
Hat sich bedankt: 29 Mal
Danksagung erhalten: 71 Mal
Mann oder Frau?: Ich bin ein MANN
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable

Re: Aufräumaktion bei den Bots und Crawlern

Beitragvon fetsecht » 11. September 2014, 06:35

Hi,

warum ueberhaupt die bots anzeigen, empfand das immer als sehr stoerend.
ip adresse sieht nur der admin, privater bereich, kann die member liste sein etc...hm.
denke ich sehe das prob, ich mail dir es Don.

Benutzeravatar

GoldenTulip
Beiträge: 2661
Registriert: 15. Juli 2011, 21:41
Hat sich bedankt: 297 Mal
Danksagung erhalten: 258 Mal
Mann oder Frau?: Ich bin eine FRAU
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable

Re: Aufräumaktion bei den Bots und Crawlern

Beitragvon GoldenTulip » 11. September 2014, 08:01

Ich meine auch: ein paar unsinnige aussperren, und den Rest unsichtbar machen. Das interessiert doch niemanden, ob die hier rumschwirren. Und bei "war war da" kriegt man inzwischen Augenkrebs. [wacko]
Siegreiche Krieger siegen bevor sie in den Krieg ziehen, während Verlierer erst in den Krieg ziehen und dann versuchen, zu gewinnen. Sunzi.
Wenn Du nichts tun kannst, tu, was Du tun kannst. Conny.

In respektvollem Gedenken an Aaron Swartz

Benutzeravatar

delle54
Beiträge: 47
Registriert: 18. Februar 2012, 00:11
Hat sich bedankt: 1 Mal
Danksagung erhalten: 10 Mal
Mann oder Frau?: Ich bin ein MANN
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable

Re: Aufräumaktion bei den Bots und Crawlern

Beitragvon delle54 » 11. September 2014, 14:00

Was Don meint, sind vermutlich Bots mit einer falschen (geklauten) Identität. Wir haben uns schon über Gegenmassnahmen ausgetauscht.

Standardmässig sind etwa 50 Bots als Mitglieder der entsprechenden Gruppe von der Software vorgegeben. Diese sind harmlos und erfahrungsgemäss tauchen nur Google und 1-2 andere in "wer ist online" oder "wer war da" auf.


[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable

Zurück zu „Forum Intern“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste