| author | Markus Bröker<broeker.markus@googlemail.com> |
| Tue, 19 Sep 2017 13:04:18 +0200 | |
| changeset 51 | bfcfa759003a |
| parent 50 | b65e2d0ece0d |
| permissions | -rw-r--r-- |
|
50
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
1 |
User-agent: * |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
2 |
Disallow: /persistence/ |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
3 |
|
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
4 |
# Unseriöse Spider |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
5 |
User-agent: WebReaper |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
6 |
User-agent: WebCopier |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
7 |
User-agent: Offline Explorer |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
8 |
User-agent: HTTrack |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
9 |
User-agent: Microsoft.URL.Control |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
10 |
User-agent: EmailCollector |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
11 |
User-agent: penthesilea |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
12 |
User-agent: MJ12bot |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
13 |
User-agent: AhrefsBot |
|
b65e2d0ece0d
Fehlende Projekt-Dateien hinzu gefügt
Markus Bröker<broeker.markus@googlemail.com>
parents:
diff
changeset
|
14 |
Disallow: / |