Juniors WorkstationLidos BerlinComputer PassDies und Das
Nutzungsbedingungen    Datenschutz    Impressum       Kontakt        Registrieren       <== zurück zur Startseite    
 
  Lernen durch Lehren
 
  LDL - Wissenswertes
  LDL - Hardwaretests
  LDL - Softwaretests
  LDL - Tipps & Tricks
  LDL - Workshops
 


  Profan² Einsteiger FAQ 7.5
 
  Profan² Einsteiger FAQ 7.5
  Profan² an die Schulen
  Profan² Script - FAQ
  Profan² Erweiterungen
  Profan² Helferlein
  Profan² Quellcode
 


  HTML Einsteiger FAQ 4.07
 
  HTML Einsteiger FAQ 4.07
  HTML indirekte Fragen
  kleine JavaScript FAQ
 


250 MB mit PHP / MySQL
 
Sie suchen noch Webspace, der kosten- und werbefrei ist, PHP (5.x) und MySQL (3.x) unter- stützt ...

Sie haben Fragen und benötigen Antworten
 
Das verstehen wir - und genau aus diesem Grund haben wir versucht, auf Ihre (am häu- figsten) gestellten Fragen zu antworten.
 
Lern- und Lehrbereich: Juniors Workstation
 
   einen Beitrag auswählenzum Anfang eine Seite zurück  eine Seite vor zum Ende     
   Bereich Kennung Zuordnung Klick Titel 
20  Workstation FAQ HTML HTML-FAQ114406  Was zunächst gesagt werden muß ... HTML-FAQ - Was zunächst gesagt werden muß ...
21  Workstation FAQ HTML HTML-Frage67713  Wie entstand das ApraNet, das Internet? HTML-Frage - Wie entstand das ApraNet, das Internet?
22  Workstation FAQ HTML HTML-Frage48752  Was ist das TCP/IP? HTML-Frage - Was ist das TCP/IP?
26  Workstation FAQ HTML HTML-Frage48976  Was ist eine IP Adresse? HTML-Frage - Was ist eine IP Adresse?
27  Workstation FAQ HTML HTML-Frage50032  Was ist DNS (Domain-Name-Service)? HTML-Frage - Was ist DNS (Domain-Name-Service)?
28  Workstation FAQ HTML HTML-Frage48408  Wie funktioniert das Internet? HTML-Frage - Wie funktioniert das Internet?
29  Workstation FAQ HTML HTML-Frage44969  Was ist E-Mail? HTML-Frage - Was ist E-Mail?
30  Workstation FAQ HTML HTML-Frage51731  Was ist FTP? HTML-Frage - Was ist FTP?
31  Workstation FAQ HTML HTML-Frage48577  Was sind NewsGroups? HTML-Frage - Was sind NewsGroups?
32  Workstation FAQ HTML HTML-Frage51425  Was ist WorldWideWeb? Was ist TeleNet? HTML-Frage - Was ist WorldWideWeb? Was ist TeleNet?

102 registrierte Beiträge gefunden; davon werden aktuell 10 angezeigt. 

 
   die Datei "robots.txt" ...

Wenn Sie Ihre Homepage bei Suchmaschinen angemeldet haben, "besucht" die Suchmaschine Ihre Homepage in regelmäßigen Abständen, um sich zu aktualisieren.

Dabei sucht eine Suchmaschine im Normalfall automatisch auch nach einer Datei "robots.txt". Ist die Datei nicht vorhanden, erzeugt die Suchmaschine bei jedem(!) weiteren Besuch eine Fehlermeldung im *.log-File.

Das Vorhandensein des "robots.txt" ist nicht zwingend erforderlich. Bei kleinen Homepages genügt auch alternativ der Meta-Tag "robots". Wer sich allerdings bei vielen Suchmaschinen angemeldet hat, wird sich wundern, wie oft dennoch eine Fehlermeldung von Suchmaschinen erscheint, wenn die Datei "robots.txt" nicht vorhanden ist.

Sie sollten unbedingt beachten, daß nicht wenige Suchmaschinen Ihre Homepage besuchen! Hier kann das *.log-File schnell eine ungeahnte Größe (mit unrelevanten Fehlermeldungen) erreichen.

Die Datei robots.txt besteht aus zwei Teilen und kann mit jedem einfachen Text-Editor (z.B. notepad.exe) erstellt und bearbeitet werden.

Im Ersten wird die Suchmaschine genannt (der robots), im Zweiten das oder die Verzeichnisse, die nicht von der(n) genannten Suchmaschine(n) durchsucht werden dürfen.

   User-agent: webcrawler
Disallow: /privat/privat/

Dem Webcrawler wird also der Zugriff auf den Ordner /privat/privat/ nicht gestattet. Alle Suchmaschinen (robots) kann man ansprechen, indem man den üblichen Platzhalter, das Sternchen, verwendet:

   User-agent: *
Disallow: /privat/privat/
Disallow: /geheim/

Auch einzelne Dateien lassen sich ausschließen:

    User-agent: *
Disallow: /privat/privat.html
Disallow: /geheim.htm

Wenn man eine bestimmte Suchmaschine komplett von seiner HomePage fernhalten möchte, gibt man ihren Namen und kein Verzeichnis an. Wichtig ist der Slash ("/").

     User-agent: EmailCollector
Disallow: /

Fehlt hingegen der Slash ("/"), so wird die gesamte HomePage entsprechend freigegeben.

    User-agent: Yahoo
Disallow:

Alle Einträge in die Datei robots.txt lassen sich kombinieren und auch kommentieren.
Kommentare werden mit einem Doppelkreuz ("#") eingeleitet und sorgen dafür, daß Sie sich auch nach längeren Pausen immer noch zurechtfinden.

   # für alle Suchmaschinen
   User-agent: *
Disallow: /privat/privat/
Disallow: /geheim/
   # unverschämte Suchmaschinen ausschließen
   User-agent: MegaRobot
Disallow: /
   # alle E-Mail-Sammler ausschließen
   User-agent: EmailCollector
Disallow: /

Es gibt "unverschämte Suchmaschinen", die Ihre HomePage sehr häufig und mit hoher Bandbreite scannen. Anhand Ihres Logfiles können Sie solche Suchmaschinen sehr schnell ausmachen und ihnen mittels robots.txt den Zugriff verweigern.

"E-Mail-Sammler" werden häufig dazu mißbraucht, die Adreßdatenbestände von "Spannern" aufzufüllen, die dann wiederum unerwünschten Werbemüll per E-Mail an die gefundenen Adressen schicken. Solchen Sammlern sollte man den Zugriff verwehren.

Aber Achtung:
Derartige robots ignorieren zum Großteil den robots.txt. Ist ja eigentlich auch kein Wunder!
Wer sich nicht scheut, andere User mit dummdreisten Werbesprüchen zu belästigen, dem ist auch die Netiquette von robots egal.

©2012 Lidos Berlin - alle Rechte vorbehalten.