public/robots.txt
author Markus Bröker<broeker.markus@googlemail.com>
Fri, 15 Sep 2017 10:01:32 +0200
changeset 50 b65e2d0ece0d
permissions -rw-r--r--
Fehlende Projekt-Dateien hinzu gefügt
Ignore whitespace changes - Everywhere: Within whitespace: At end of lines:
50
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     1
User-agent: *
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     2
Disallow: /persistence/
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     3
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     4
# Unseriöse Spider
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     5
User-agent: WebReaper
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     6
User-agent: WebCopier
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     7
User-agent: Offline Explorer
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     8
User-agent: HTTrack
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
     9
User-agent: Microsoft.URL.Control
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
    10
User-agent: EmailCollector
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
    11
User-agent: penthesilea
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
    12
User-agent: MJ12bot
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
    13
User-agent: AhrefsBot
b65e2d0ece0d Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff changeset
    14
Disallow: /