Aufräumaktion bei den Bots und Crawlern
-
Thread-Starter - Beiträge: 207
- Registriert: 7. Februar 2013, 19:05
- Hat sich bedankt: 24 Mal
- Danksagung erhalten: 83 Mal
- Mann oder Frau?: [phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
Aufräumaktion bei den Bots und Crawlern
Seid gegrüßt
Ich habe kürzlich sehr viele Bots bemerkt, die nicht als solche erfasst waren und als „Gast“ aufgelistet wurden. Der Bot der Suchmaschine Bing (Microsoft), aber auch andere, waren oft sogar zwei- oder dreifach präsent, mit drei verschiedenen IPs. Dann waren das eben drei Gäste. Das ist zwar schmeichelhaft, aber es verfälscht das Bild. Ich würde schon sehr gerne wissen, wie viele „richtige“ Gäste bei uns mitlesen.
Wenn Ihr auf klickt, seht Ihr nur die IP der Gäste (Gastleser sehen auch die IP nicht) und in welchem Unterforum die gerade lesen etc. Ich als Admin sehe zusätzlich noch die Browsersignatur, und dadurch ist ein Bot oder Crawler identifizierbar. So habe ich also alle diese Bots neu in die interne Bot-Tabelle aufgenommen. Auch ein „Dreifacher Bing“ erscheint jetzt nur noch als ein einziger „unsichtbare (oder Bots)“ und die ausgewiesenen Gäste sind von nun an real vor einem Bildschirm sitzende Personen.
Konsequenterweise werden nun alle identifizierten Bots bei „WER WAR DA“ angezeigt. In den letzten 24 Stunden waren das 18(!) solcher Bots oder Crawler. Ich habe keine Ahnung, was die hier wollen, was sie suchen, woher sie so plötzlich kommen. Ich habe die jedenfalls nicht gerufen, im Sinne einer SEO-Maßnahme oder so. Jedenfalls tut mir die Liste „WER WAR DA“, wenn ich sie mir so anschaue, in den Augen weh. Vielleicht sollte ich einige Bots einfach mal aussperren. Klar, Google, Bing, Yahoo etc. natürlich nicht. Aber was uns die chinesische Baidu oder die russische Yandex bringen, kann ich echt nicht sagen. Auch nichts über die vielen anderen kleineren Bots und Crawlers, Ihr seht sie ja selbst in der Liste „WER WAR DA“.
Vom Traffic her (Datenvolumen) habe ich das noch nicht wirklich angeschaut, aber das dürfte eigentlich nicht das Problem sein. Ich behalte das mal im Auge, und vielleicht weiß ja von Euch jemand einen Rat. Gepostet habe ich das hier, weil ich eine besorgte diesbezügliche PN erhielt, und weil das plötzliche Auftauchen und das namentliche Aufführen der Bots in „WER WAR DA“ wahrscheinlich nicht nur dieser Person aufgefallen sein dürften.
DQA
Ich habe kürzlich sehr viele Bots bemerkt, die nicht als solche erfasst waren und als „Gast“ aufgelistet wurden. Der Bot der Suchmaschine Bing (Microsoft), aber auch andere, waren oft sogar zwei- oder dreifach präsent, mit drei verschiedenen IPs. Dann waren das eben drei Gäste. Das ist zwar schmeichelhaft, aber es verfälscht das Bild. Ich würde schon sehr gerne wissen, wie viele „richtige“ Gäste bei uns mitlesen.
Wenn Ihr auf klickt, seht Ihr nur die IP der Gäste (Gastleser sehen auch die IP nicht) und in welchem Unterforum die gerade lesen etc. Ich als Admin sehe zusätzlich noch die Browsersignatur, und dadurch ist ein Bot oder Crawler identifizierbar. So habe ich also alle diese Bots neu in die interne Bot-Tabelle aufgenommen. Auch ein „Dreifacher Bing“ erscheint jetzt nur noch als ein einziger „unsichtbare (oder Bots)“ und die ausgewiesenen Gäste sind von nun an real vor einem Bildschirm sitzende Personen.
Konsequenterweise werden nun alle identifizierten Bots bei „WER WAR DA“ angezeigt. In den letzten 24 Stunden waren das 18(!) solcher Bots oder Crawler. Ich habe keine Ahnung, was die hier wollen, was sie suchen, woher sie so plötzlich kommen. Ich habe die jedenfalls nicht gerufen, im Sinne einer SEO-Maßnahme oder so. Jedenfalls tut mir die Liste „WER WAR DA“, wenn ich sie mir so anschaue, in den Augen weh. Vielleicht sollte ich einige Bots einfach mal aussperren. Klar, Google, Bing, Yahoo etc. natürlich nicht. Aber was uns die chinesische Baidu oder die russische Yandex bringen, kann ich echt nicht sagen. Auch nichts über die vielen anderen kleineren Bots und Crawlers, Ihr seht sie ja selbst in der Liste „WER WAR DA“.
Vom Traffic her (Datenvolumen) habe ich das noch nicht wirklich angeschaut, aber das dürfte eigentlich nicht das Problem sein. Ich behalte das mal im Auge, und vielleicht weiß ja von Euch jemand einen Rat. Gepostet habe ich das hier, weil ich eine besorgte diesbezügliche PN erhielt, und weil das plötzliche Auftauchen und das namentliche Aufführen der Bots in „WER WAR DA“ wahrscheinlich nicht nur dieser Person aufgefallen sein dürften.
DQA
Ich bin KEINE Signatur! Ich mache hier unten einfach nur sauber ... ...
-
- Beiträge: 1607
- Registriert: 10. Januar 2012, 15:31
- Hat sich bedankt: 330 Mal
- Danksagung erhalten: 308 Mal
- Mann oder Frau?: [phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
-
Thread-Starter - Beiträge: 207
- Registriert: 7. Februar 2013, 19:05
- Hat sich bedankt: 24 Mal
- Danksagung erhalten: 83 Mal
- Mann oder Frau?: [phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
Re: Aufräumaktion bei den Bots und Crawlern
Ja, Willo
Du hast recht. Ihr seht die IP der Gäste nicht. Und über die Gäste, die sich angeblich „im persönlichen Bereich“ befinden, bin ich auch schon gestolpert. Aber da ist nix dran. Weiß der Geier, was sich die Software da wieder auskegelt
DQA
Du hast recht. Ihr seht die IP der Gäste nicht. Und über die Gäste, die sich angeblich „im persönlichen Bereich“ befinden, bin ich auch schon gestolpert. Aber da ist nix dran. Weiß der Geier, was sich die Software da wieder auskegelt
DQA
Ich bin KEINE Signatur! Ich mache hier unten einfach nur sauber ... ...
-
- Beiträge: 989
- Registriert: 27. Januar 2010, 11:41
- Hat sich bedankt: 29 Mal
- Danksagung erhalten: 71 Mal
- Mann oder Frau?: [phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
Re: Aufräumaktion bei den Bots und Crawlern
Hi,
warum ueberhaupt die bots anzeigen, empfand das immer als sehr stoerend.
ip adresse sieht nur der admin, privater bereich, kann die member liste sein etc...hm.
denke ich sehe das prob, ich mail dir es Don.
warum ueberhaupt die bots anzeigen, empfand das immer als sehr stoerend.
ip adresse sieht nur der admin, privater bereich, kann die member liste sein etc...hm.
denke ich sehe das prob, ich mail dir es Don.
-
- Beiträge: 2661
- Registriert: 15. Juli 2011, 21:41
- Hat sich bedankt: 297 Mal
- Danksagung erhalten: 258 Mal
- Mann oder Frau?: [phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
Re: Aufräumaktion bei den Bots und Crawlern
Ich meine auch: ein paar unsinnige aussperren, und den Rest unsichtbar machen. Das interessiert doch niemanden, ob die hier rumschwirren. Und bei "war war da" kriegt man inzwischen Augenkrebs.
Siegreiche Krieger siegen bevor sie in den Krieg ziehen, während Verlierer erst in den Krieg ziehen und dann versuchen, zu gewinnen. Sunzi.
Wenn Du nichts tun kannst, tu, was Du tun kannst. Conny.
In respektvollem Gedenken an Aaron Swartz
Wenn Du nichts tun kannst, tu, was Du tun kannst. Conny.
In respektvollem Gedenken an Aaron Swartz
-
- Beiträge: 47
- Registriert: 18. Februar 2012, 00:11
- Hat sich bedankt: 1 Mal
- Danksagung erhalten: 10 Mal
- Mann oder Frau?: [phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
Re: Aufräumaktion bei den Bots und Crawlern
Was Don meint, sind vermutlich Bots mit einer falschen (geklauten) Identität. Wir haben uns schon über Gegenmassnahmen ausgetauscht.
Standardmässig sind etwa 50 Bots als Mitglieder der entsprechenden Gruppe von der Software vorgegeben. Diese sind harmlos und erfahrungsgemäss tauchen nur Google und 1-2 andere in "wer ist online" oder "wer war da" auf.
Standardmässig sind etwa 50 Bots als Mitglieder der entsprechenden Gruppe von der Software vorgegeben. Diese sind harmlos und erfahrungsgemäss tauchen nur Google und 1-2 andere in "wer ist online" oder "wer war da" auf.
[phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/lib/Twig/Extension/Core.php on line 1236: count(): Parameter must be an array or an object that implements Countable
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast