# robots.txt allgemein
# User-agent: *
# Disallow: /DOCS/
#
# robots.txt für crawl.it ausgeschlossen 1999 - 2001
User-agent: crawl-it
Disallow: /DOCS/KUR-1999.02
Disallow: /DOCS/KUR-1999.04
Disallow: /DOCS/KUR-1999.06
Disallow: /DOCS/KUR-1999.08
Disallow: /DOCS/KUR-1999.10
Disallow: /DOCS/KUR-2000.02
Disallow: /DOCS/KUR-2000.04
Disallow: /DOCS/KUR-2000.06
Disallow: /DOCS/KUR-2000.08
Disallow: /DOCS/KUR-2000.10
Disallow: /DOCS/KUR-2000.12
Disallow: /DOCS/KUR-2001.02
Disallow: /DOCS/KUR-2001.04
Disallow: /DOCS/KUR-2001.06
Disallow: /DOCS/KUR-2001.08
Disallow: /DOCS/KUR-2001.10
Disallow: /DOCS/KUR-2001.12
Disallow: /DOCS/KUR-2002.02
Disallow: /DOCS/KUR-2002.04
Disallow: /DOCS/KUR-2002.06
Disallow: /DOCS/KUR-2002.08
Disallow: /DOCS/KUR-2002.10
Disallow: /DOCS/KUR-2002.12
Disallow: /DOCS/KUR-2003.02
Disallow: /DOCS/KUR-2003.04
Disallow: /DOCS/KUR-2003.06
Disallow: /DOCS/KUR-2003.08
Disallow: /DOCS/KUR-2003.10
Disallow: /DOCS/KUR-2003.12
Disallow: /DOCS/KUR-2004.02
Disallow: /DOCS/KUR-2004.04
Disallow: /DOCS/KUR-2004.06
Disallow: /DOCS/KUR-2004.08
Disallow: /DOCS/KUR-2004.10
Disallow: /DOCS/KUR-2004.12
Disallow: /DOCS/KUR-2005.02
Disallow: /DOCS/KUR-2005.04
Disallow: /DOCS/KUR-2005.06
Disallow: /DOCS/KUR-2005.08
Disallow: /DOCS/KUR-2005.10
Disallow: /DOCS/KUR-2005.12
Disallow: /DOCS/KUR-2006.02
Disallow: /DOCS/KUR-2006.04
Disallow: /DOCS/KUR-2006.06
Disallow: /DOCS/KUR-2006.08
Disallow: /DOCS/KUR-2006.10
Disallow: /DOCS/KUR-2006.12