Scherzinger Digital Audit

Crawler-Information

ScherzingerAuditBot

Sie haben unseren Crawler in Ihren Server-Logs gesehen? Hier steht, was er tut, warum er kam und wie Sie ihn sperren.

Kennung

Der Crawler meldet sich mit diesem User-Agent:

ScherzingerAuditBot/1.0 (+https://check.webagentur-scherzinger.com/bot/)

Für die robots.txt lautet das Kürzel ScherzingerAuditBot.

Warum er Ihre Website abgerufen hat

Jemand hat Ihre Adresse in den Scherzinger Digital Audit eingegeben, um eine Analyse zu starten – häufig der Inhaber oder die Agentur der Website. Der Crawler läuft nur auf Anfrage; er durchsucht das Internet nicht selbstständig und baut keinen Suchindex auf.

Wie er sich verhält

  • Höchstens 25 Seiten je Analyse, bis Linktiefe 3, Zeitbudget rund 90 Sekunden, höchstens vier Abrufe gleichzeitig.
  • Er liest Ihre robots.txt und hält sich an Sperren für ScherzingerAuditBot und für *.
  • Er ruft nur öffentlich zugängliche Seiten ab, wie ein Besucher: keine Anmeldung, keine Formulare, keine Suchfelder.
  • Er führt keine Sicherheits-Scans durch, probiert keine Pfade aus und umgeht keinen Bot-Schutz.
  • Die gleiche Adresse wird innerhalb von 24 Stunden in der Regel nicht erneut abgerufen; das vorhandene Ergebnis wird wiederverwendet.
  • Zusätzlich misst Google PageSpeed Insights die Ladezeit Ihrer Startseite. Diese Abrufe kommen von Google, nicht von unserem Server.

So sperren Sie den Crawler

Tragen Sie in die Datei /robots.txt Ihrer Website ein:

User-agent: ScherzingerAuditBot Disallow: /

Die Startseite und die robots.txt selbst werden zu Beginn einer Analyse noch abgerufen, um die Regeln überhaupt lesen zu können. Alle weiteren Seiten werden dann nicht mehr besucht. Einzelne Bereiche sperren Sie mit einer konkreten Pfadangabe, zum Beispiel Disallow: /intern/.

Kontakt

Fragen, Beschwerden oder ein Problem mit dem Crawler? Schreiben Sie an info@webagentur-scherzinger.com. Betreiber ist Webagentur Scherzinger, Impressum.