# robots.txt generiert von www.webmasterelite.de # URL:http://www.radio-ochsenkopf.de # Alle Roboter spidern die Domain User-agent: * Disallow: # Verzeichnis /programm/24stundenprogramm soll nicht von Lycos_Spider_(T-Rex) gespidert werden User-agent: Lycos_Spider_(T-Rex) Disallow: /programm/24stundenprogramm # Verzeichnis /programm/24stundenprogramm soll nicht von Googlebot/2.1d (+http://www.googlebot.com/bot.html) gespidert werden User-agent: Googlebot/2.1d (+http://www.googlebot.com/bot.html) Disallow: /programm/24stundenprogramm # Verzeichnis /programm/24stundenprogramm soll nicht von Crawler V 0.2.1 admin@crawler.de gespidert werden User-agent: Crawler V 0.2.1 admin@crawler.de Disallow: /programm/24stundenprogramm # Verzeichnis /programm/24stundenprogramm soll nicht von Yahoo gespidert werden User-agent: Slurp Disallow: /programm/24stundenprogramm # Verzeichnis /programm/24stundenprogramm soll nicht von Googlebot/2.1d (+http://www.googlebot.com/bot.html) gespidert werden User-agent: KIT-Fireball/2.0 libwww/5.0a Disallow: /programm/24stundenprogramm # Verzeichnis /programm/24stundenprogramm soll nicht von Googlebot/2.1d (+http://www.googlebot.com/bot.html) gespidert werden User-agent: ia_archiver Disallow: /programm/24stundenprogramm # Verzeichnis /programm/24stundenprogramm soll nicht von Googlebot/2.1d (+http://www.googlebot.com/bot.html) gespidert werden User-agent: Slurp/2.0 Disallow: /programm/24stundenprogramm