Zookabot
Robotten bruges til gennemløb af dele af internettet med.
Robotten vil adlyde basis kommandoer fra robots.txt
(hvis ikke, kontakt os venligst)
Hvordan man kontrollere Zookabot
User-agent: Zookabot
Disallow: / |
vil holde Zookabot helt væk fra hjemmesiden |
|
User-agent: Zookabot
Disallow: /private/
|
vil holde Zookabot væk fra enhver mappe der hedder /private/ |
|
User-agent: Zookabot
Disallow: /private.html |
vil holde Zookabot væk fra enhver fil der hedder private.html |
|
User-agent: Zookabot
Disallow: /.html |
vil holde Zookabot væk fra enhver fil der ender med .html |
|