WhiskyGuruBot

Was ist WhiskyGuruBot?

WhiskyGuruBot ist der Webcrawler von WhiskyGuru, einer Plattform zum Entdecken und Festhalten von Whisky. Der Bot besucht Online-Whiskyhändler, um öffentlich zugängliche Produktinformationen zu sammeln, etwa Produktnamen, EAN-Barcodes, Alkoholgehalt und Flaschengröße. Mit diesen Daten bauen und pflegen wir unsere Whiskydatenbank.

User-Agent

So arbeitet der Bot

• Beachtet robots.txt: ausgeschlossene Pfade werden nie besucht
• Beachtet Crawl-delay
• Mindestens 5 Sekunden zwischen Anfragen pro Domain
• Besucht nur öffentlich zugängliche Produktseiten
• Besucht keine Kassen-, Warenkorb-, Konto- oder Suchseiten
• Nutzt lastmod aus der Sitemap, um unveränderte Seiten nicht erneut abzurufen

Widerspruch

Soll WhiskyGuruBot deine Website nicht besuchen? Füge Folgendes in deine robots.txt ein:

User-agent: WhiskyGuruBot
Disallow: /

Oder kontaktiere uns, dann entfernen wir deine Website sofort.

Kontakt

Fragen oder Bedenken zu WhiskyGuruBot? Schreib uns eine Nachricht.