User-agent: * # "/" Alle Crawler ausschließen "*" Alle Crawler zugelassen Disallow: /agb.html # Auktionsdateien Disallow: /AGB.pdf # Auktionsdateien Disallow: /Auktion/ # Auktionsdateien Disallow: /Bilder/ # Bild-Dateien Disallow: /dlc/ # ??? Disallow: /gateway/ # Gateway Disallow: /immages/ # Shop-Fotos Disallow: /logs/ # Logs Disallow: /mailscript/ # Mailscipt Disallow: /google_daten_feed.txt # Google Daten_Feed Disallow: /bilder/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Disallow: /news.html # Die news.html ändert sich täglich