# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file # robots.txt for www.webmasters.de # Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden # sollen User-agent: * Disallow: /warenkorb Disallow: /seminare/wunschtermin/ Disallow: /lehrgaenge/wunschtermin/ Disallow: /onlineseminare/tag/ Disallow: /onlineseminare/fachbereich/ Disallow: /seminare/tag/ Disallow: /seminare/fachbereich/ Disallow: /seminare/Kategorie/ Disallow: /blog/kategorien/ Disallow: /blog/tags/ Disallow: /videos Disallow: /onlinecampus Disallow: /login Disallow: /vertrag-kuendigen