Das PlasticWiki, Sandkästen und Xanga

20. Juli 2003 - 16:51 Uhr - Moe
Liebes Google, nein leider gibt es in meinem Wiki keine Sandkästen zu kaufen, auch wenn meine Testseite so heisst, und auch Xanga HTML Codes habe ich nicht im Angebot, auch wenn ich Xanga auf der Seite PlasticWiki:WebLog erwähne. Irgendwie lustig, wie selbst-referentiell Google da ist: Die Leute googlen nach "Xanga HTML Codes", landen damit irgendwie in meinem Wiki, dann zeigt die Referrer-Seite des Wikis in den URLs auch die Keywords dieser Searchqueries an, diese wiederum werden dann wieder vom Google-Bot indiziert, und dann deswegen bei neuen Suchanfragen wieder als Ergebnisse ausgegeben. =)
Man könnte jetzt sagen, ich pöser Pursche würde hierdurch BlogNoise oder WikiNoise verursachen, aber irgendwie scheint es mir hier eher, als würden sich hier die momentanen Grenzen der Google-Methode aufzeigen.
Dabei habe ich ja sogar versucht, eine robots.txt zu schreiben, damit Google nicht die Referrer-Seiten des Wikis indiziert. Da muss ich wohl irgendwas falsch gemacht haben, oder Google war noch nicht schnell genug. Das Problem dabei: Wie schreibe ich in die robots.txt, dass die URL http://www.plasticthinking.org/wiki/IRGENDWAS/referrers nicht von Bots indiziert werden soll, wenn sich IRGENDWAS ständig ändert, da es der Name der jeweiligen Wiki-Seite ist?

   

10 Kommentare:

  1. kiesow schrieb:
    was passiert denn, wenn du

    Disallow: referrers
    oder
    Disallow: referrers/

    versuchst?
    denn das
    Disallow: /referrers
    ist ja ausgehend vom wurzelverzeichnis.
    wobei ich aber zugebe, das ich mir das RFC nicht zu gemüte geführt habe und deshalb nicht weiss, ob sowas erlaubt ist
    # 20. Juli 2003 - 17:07 Uhr
  2. Moe schrieb:
    was dann passiert weiss ich leider nicht. und in den beschreibungen die ich zu robots.txt gefunden habe wird eben nirgends so richtig erklärt wie sich das mit unterordnern verhält..?
    # 20. Juli 2003 - 18:37 Uhr
  3. kiesow schrieb:
    naja, unterverzeichnisse der art /foo/bar/ ist ja klar, das problem besteht eher in der wildcard und afaik sind die in der robots.txt nicht erlaubt.
    irgendwie finde ich die robots.txt von tag zu tag unzureichender...

    was wäre denn mit folgender idee:
    - du lässt in jedes referrer-verzeichnis gleich eine .htaccess schreiben und verbietest in dieser den zugriff von überall her.
    - damit sind dann http-zugriff auf den ordner gesperrt, aber über php oder perl kannst du noch immer auf die inhalte zugreifen
    # 20. Juli 2003 - 18:57 Uhr
  4. roland schrieb:
    Also ich sehe hier auch eher das Problem bei Google, denn schließlich verursacht Google selbst den "WikiNoise" (wär übrigens ein interessantes Stichwort fürs PlasticWiki, oder? ;-). Erinnert mich irgendwie an die Überlegung, die ich öfters habe: Was passiert eigentlich mit den E-Mails, die von einem falschen Absender an eine nichtexistente Adresse gesandt wurden...? Geistern die auf ewig in den Datenleitungen hin und her? *grins* Die berühmte Huhn/Ei-Frage.
    # 20. Juli 2003 - 21:03 Uhr
  5. nik schrieb:
    @Roland: Die Mails bouncen nur bei wirklich schlecht konfigurierten Mailservern hin und her. Dann allerdings solange, bis bei einem Server die Platte voll ist. ;) Der normale Mailserver wirft die Mail weg, sobald er merkt, dass sie loopt, also ein zweites Mal bei ihm ankommt.

    Ganz besonders interessant ist ein ähnliches Phänomen bei schlecht konfiguierten Mailinglisten und dummen Leuten mit Urlaubsbenachrichtigungsmails. Da können sich innerhalb von wenigen Minuten viele Tausende Mails ansammeln. Denn jede Urlaubsbenachrichtigung auf der Liste führt wieder zu einer Urlaubsbenachrichtigung, was wiederum zu einer Urlaubsbenachrichtigung führt, die wiederum eine Urlaubsbenachrichtigung auslöst ...
    # 20. Juli 2003 - 22:53 Uhr
  6. Michelle schrieb:
    Da wird einem ja schwindlig!
    # 20. Juli 2003 - 22:56 Uhr
  7. mados schrieb:
    Die Spezifikationen sagen: "any URL that starts with this value will not be retrieved". Das heißt, sogar so etwas ist möglich: "Disallow: /list.php?order=" (ich kann bestätigen, dass das tatsächlich funktioniert, siehe auch google.de/robots.txt). Leider wird nirgends (!) eine Aussage darüber getroffen, was passiert, wenn man Muster ohne Schrägstrich am Anfang verwendet. "Disallow: referers" bewirkt höchstwahrscheinlich gar nichts.

    Momentan sicherste Lösung: <meta name="robots" content="noindex,follow"> (aber das ist natürlich Aufgabe der WakkaWiki-Entwickler).
    # 21. Juli 2003 - 13:18 Uhr
  8. mados schrieb:
    Nachtrag: Google kann zaubern. http://www.google.de/webmas... :-)
    # 21. Juli 2003 - 13:54 Uhr
  9. Moe schrieb:
    thx für die URL, mados!
    also wenn ich richtig verstanden habe: laut der spezifikation für robots.txt kann man also nur angeben, mit welchem text eine URL *beginnen* muss, um nicht indiziert zu werden.
    laut google allerdings versteht der google-bot aber auch wildcards, d.h. hier kann man auch komplette pfade angeben. ein "$"-Zeichen am ende braucht man nur dann, wenn die angabe genau so und nicht anders enden soll um exkludiert zu sagen (betrifft mich nicht, da zB bei den refs noch variablen angehängt werden).
    also müsste die jetzige version meiner robots.txt das eigentlich regeln, oder?
    -> http://www.plasticthinking....
    # 21. Juli 2003 - 15:50 Uhr
  10. kiesow schrieb:
    sie müsste ;-)
    # 21. Juli 2003 - 16:46 Uhr

Kommentare werden moderiert und vor der Veröffentlichung manuell geprüft.

Kommentieren:

:

:
: