# robots.txt file for http://www.zilch-fritsch.de
# programming: www.meiss.info | www.rhein-main-mediendesign.de
# Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden sollen

Sitemap: http://www.zilch-fritsch.de/sitemap.xml

# www.archive.org sperren
User-agent: ia_archiver
Disallow: /

# immer sperren
User-agent: *
Disallow: /logs/
Disallow: /alt/
Disallow: /test/
Disallow: /css/
Disallow: /images/
Disallow: /scripte/
Disallow: /cgi-bin/
Disallow: /cgi-data/
Disallow: /video/
Disallow: /lightbox/

# sperren
Disallow: /fotogalerie/
Disallow: /_alte_startseite/

# auch sperren
User-agent: EmailCollector
Disallow: /

User-agent: WebReaper
Disallow: /

#Yahoo-Bot, 600 Sekunden d.h. alle 10 Minuten
User-agent: Slurp 
Crawl-delay: 600