Burning-Board-Kenner

    Zitat

    Original von Lucius Sergius Chlorus
    Ach wie oft hat google sich schon strafbar gemacht, bei wievielen Betrügerein hat es schon geholfen. Und? Was ist passiert?


    Ja bisher gings ja auch noch nicht gegen den Staat selbst ...^^

    Zitat

    Original von Lucius Sergius Chlorus
    Achso? Google macht gern Geschäfte mit Staaten, frag mal das ZK der VR China. Für die filtern die sogar das ganze Internet.


    lol^^ is ja egal^^ besser nich weiter auf dem Thema sonst kommt Lucidus^^

    Zitat

    Original von Quintus Matinius Cicero
    crawl-66-249-72-174.googlebot.com schon nach nur 5 Minuten -.^


    Wenn du wenig Traffic zur Verfügung hast, dann wird das ein Problem werden. Ich spreche aus Erfahrung, wir haben hier erst vor... 2 Wochen oder so.. den googlebot ausgesperrt, weil er wahnwitzige 30GB (pro Monat) und mehr Traffic verursacht hat.
    Das Problem: Google crawlt mittlerweile auch dynamische Seiten (Wer hats vorgemacht? Microsoft...) und achtet dabei nicht auf die SessionID. D.h., der crawlt bei jeder Wiederkehr alles, fängt also jedesmal von vorn an...

    Klingt ja irgenwie kriminell... 30GB werden die bei mir wohl nicht so schnell produzieren können (hoffe ich mal, bin ja noch ganz klein ;)).


    Könntest Du mir trotzdem vielleicht verraten wie man die heimtückischen Kerle effektiv an ihrem Treiben hindert (aussperrt)?

    Google schlägt vor: SessionIDs für den googlebot abdrehen (ohne Schmarrn, das war ihre Antwort auf unsere Anfrage :D )


    Du solltest entweder auf woltlab.de, yourwbb.de oder mywbb.de fündig werden. Bei yourwbb.de hab ich auf die Schnelle das hier gefunden: http://yourwbb.de/thread.php?postid=5431#post5431 , ist allerdings für wbb1.2 (ohne lite, ist also wesentlich älter als deins)


    Wir haben btw. eine härtere Methode angewandt. robots.txt -> googlebot verboten, die wichtigen .phps zu crawlen. Aber das kann man in einem wbb2.2.x und höher auch leicht machen, da die ein Archiv haben (http://www.imperiumromanum.net/forum/archive/) und somit trotz dieser recht brachialen Methode weiterhin gefunden werden sollten.

    Ich werd mich mal mit Deiner Antwort ins stille Kämmerlein zurückziehen und hier nicht weiter mit meinen noobishen Fragen rumnerven (was ich ohne weiteres könnte, Material habe ich jetzt genug), thx Luci :D

Jetzt mitmachen!

Du hast noch kein Benutzerkonto auf unserer Seite? Registriere dich kostenlos und nimm an unserer Community teil!

Benutzerkonto erstellen Anmelden