# ==============================================================
# ROBOTS.TXT
# Name: robots.txt
# Erstellungdatum: 07.11.2007
# Modifiziert: 06.01.2009 13:11:44
# Author: sfluri(at)gmail.com
# Version: $1.1.2
# 
# Anfragen fuer Aenderungen
# Request for Updates
# http://dev3.format-ag.ch/de/kontakt/index.php
# ==============================================================

#
# Collectors & Spambots und alle anderen die wir nicht wollen!
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: EmailCollector
Disallow: /

User-agent: Java
Disallow: /

#
# Bots die den gesamten Inhalt fuer Offlineverwendung kopieren.
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#  

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: Xenu Link Sleuth
Disallow: /

#
# Anweisung fuer Google
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: Googlebot
Disallow: /*/__*
Disallow: /*/admin/
Disallow: /*/administration/
Disallow: /*/auth/
Disallow: /*/authent/
Disallow: /*/css/
Disallow: /*/dev/
Disallow: /*/doc/
Disallow: /*/dok/
Disallow: /*/demo/
Disallow: /*/format/
Disallow: /*/import/
Disallow: /*/intern/
Disallow: /*/login/
Disallow: /*/master/
Disallow: /*/mpns/
Disallow: /*/profil/
Disaloow: /*/profile/
Disallow: /*/script/
Disallow: /*/scripts/
Disallow: /*/style/
Disallow: /*/styles/
Disallow: /*/temp/
Disallow: /*/templates/
Disallow: /*/test/
Disallow: /*/tmp/
Disallow: /*/weblication/
Disallow: /*/wDirectory.php$
Disallow: /*/weblication.xml$
Disallow: /*/wLocked.xml$
Disallow: /*.bak$
Disallow: /*.eml$
Disallow: /*.js$
Disallow: /*.csv$
Disallow: /*.css$
Disallow: /*.tpl$
Disallow: /*.wLocked$
Allow: /*?$

#
# Anweisung fuer Microsoft
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#	

User-Agent: msnbot
Disallow: wDirectory.php$
Disallow: weblication.xml$
Disallow: *.bak$
Disallow: *.eml$
Disallow: *.js$
Disallow: *.css$
Disallow: *.csv$
Disallow: *.tpl$
Disallow: *.wfb$
Disallow: *.wLocked$
Allow: /*?$

# 
# Inhalte die nicht indiziert werden duerfen
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: *

Disallow: /admin/
Disallow: /administration/
Disallow: /auth/
Disallow: /authent/
Disallow: /demo/
Disallow: /doc/
Disallow: /dok/
Disallow: /de/dev/
Disallow: /de/login/
Disallow: /de/profil/
Disallow: /de/profile/
Disallow: /de/weblication/
Disallow: /demo/
Disallow: /dev/
Disallow: /error/
Disallow: /format/
Disallow: /import/
Disallow: /intern/
Disallow: /login/
Disallow: /master/
Disallow: /mpns/
Disallow: /profil/
Disallow: /profile/
Disallow: /shared/
Disallow: /spam/
Disallow: /temp/
Disallow: /templates/
Disallow: /test/
Disallow: /tmp/
Disallow: /weblication/
Disallow: /abcx.xml
Disallow: /u.xml

# 
# Fuer Alle die wir hier wollen ;-)
# Bots und Spiders duerfen folgende Inhalte indizieren
# 

Allow: /de/
Allow: /de/aktuelles/
Allow: /de/content/
Allow: /de/empfehlen/
Allow: /de/dok/
Allow: /de/dokumente/
Allow: /de/download/
Allow: /de/downloads/
Allow: /de/global/
Allow: /de/img/
Allow: /de/impressum/
Allow: /de/inhalte/
Allow: /de/inhaltsverzeichnis/
Allow: /de/kontakt/
Allow: /de/list/
Allow: /de/liste/
Allow: /de/listen/
Allow: /de/news/
Allow: /de/seite-empfehlen/
Allow: /de/sitemap/
Allow: /de/stichwortverzeichnis/
Allow: /de/suche/
Allow: /de/tellafriend/
Allow: /de/wContent/
Allow: /de/weiterempfehlen/
Allow: /de/wGlobal/
Allow: /de/wGlobal/content/navigations/standard.wNavigation.php
Allow: /de/wGlobal/content/navigations/stichwortverzeichnis.wNavigation.php
Allow: /de/wGlobal/content/navigations/fastfinder.wNavigation.php
Allow: /de/wList/
Allow: /de/wTellAFriend/
Allow: /de/index.php
Allow: /favicon.php
Allow: /index.php
Allow: /info.txt
Allow: /robots.txt 
Allow: /de.sitemap.xml
Allow: /sitemap.xml

#
# Sitemap-Adressen fuer Suchmaschinen
# 

Sitemap: http://dev3.format-ag.ch/de.sitemap.xml
Sitemap: http://dev3.format-ag.ch/sitemap.xml