# die Namen der einzelnen Robots entnimmt man am besten (nach einiger Zeit) # dem Logfile des Servers # das ansprechen eines bestimmten Bots erfolgt mit "User-agent: ........" # das ausschliessen von bestimmten Verzeichnissen erfolgt mit "Disallow: /verzeichnis" # will man das komplette Web fuer einen Robot sperren geht das mit "Disallow: /" # nach dem auswerten des Logfiles kann man die folgenden Abschnitte ergaenzen # alle Robots User-agent: * Disallow: /cms/administrator # email Sammler draussenbleiben # User-agent: EmailCollector # Disallow: /