WhiskyGuruBot

Wat is WhiskyGuruBot?

WhiskyGuruBot is de webcrawler van WhiskyGuru, een platform om whisky te ontdekken en bij te houden. De bot bezoekt online whiskywinkels om openbare productinformatie te verzamelen, zoals productnamen, EAN-streepjescodes, alcoholpercentage en inhoud. Met deze gegevens bouwen en onderhouden we onze whiskydatabase.

User-Agent

Hoe de bot werkt

• Respecteert robots.txt: uitgesloten paden worden nooit bezocht
• Respecteert Crawl-delay
• Minstens 5 seconden tussen verzoeken per domein
• Bezoekt alleen openbaar toegankelijke productpagina's
• Bezoekt geen afreken-, winkelwagen-, account- of zoekpagina's
• Gebruikt lastmod uit de sitemap om ongewijzigde pagina's niet opnieuw op te halen

Afmelden

Wil je niet dat WhiskyGuruBot je site bezoekt? Zet dan het volgende in je robots.txt:

User-agent: WhiskyGuruBot
Disallow: /

Of neem contact op, dan halen we je site meteen weg.

Contact

Vragen of zorgen over WhiskyGuruBot? Stuur ons een bericht.