Spamzugriffe aus Matomo Statistiken heraushalten
Sie erfahren in dem nachfolgenden Beitrag, wie Sie auf einfache Weise in Matomo die Zugriffe von Spam-Robotern erkennen und aus Ihren Statistiken heraushalten können. Erforderlich ist dazu ein kostenloses Plugin von Matomo.
Einleitung
Viele Kunden von mir sind immer wieder verwundert, dass sie Zugriffe auf ihre Webseite aus aller Welt haben, obwohl ihr Angebot sich auf Deutschland bezieht oder an deutschsprachige Besucher richtet.
Standortermittlung
Dies kann zum einen an einer leider nicht brauchbaren Standortermittlung anhand einer anonymisierten IP-Adresse (z.B. 69.170.0.0, 195.0.0.0) und der verwendeten, evtl. veralteten Adressdatenbank liegen, auf die ihr Matomo ggf. zugreift. Eine anonymisierte IP-Adresse kann rechnerisch 65536 oder sogar 16777216 verschiedene unterschiedliche IP-Adressen umfassen. Stichproben von mir bei einer von Matomo verwendeten Adressdatenbank ergaben, dass mit einer anonymisierten IP-Adresse Besuche-Standorte sich auf Adressbereiche in ganz Osteuropa erstreckten und ganz vereinzelt dann aber auch IP-Adressen darunter waren, die zu Deutschland, der Schweiz oder Österreich gehörten. Das ist jedoch ein anderes Thema. Darum soll es im nachfolgenden Beitrag nicht gehen.
Zugriffe von Spam-Robots
Zugriffe aus aller Welt können nämlich in nicht zu geringem Umfang auch an Spam-Robotern liegen, die Ihre Webseite permanent durchforsten und dabei sich als ganz normaler Benutzer „tarnen“. Die Tarnung erfolgt meist dadurch, dass sie sich als normaler Browser ausgeben, also als Mozilla Firefox, Chrome oder Safari, die unter Windows, iOS, Android oder Ubuntu laufen und daher technisch nicht so einfach von einem Menschen unterschieden werden können. Deren IP-Adressen sind dann Regionen aus aller Welt zugeordnet, am häufigsten jedoch der USA oder Kanada.
Bei dem Begriff Spam-Roboter handelt es sich natürlich nur um einen Sammelbegriff für Software, die auf einem oder mehreren Rechnern mit Zugriff auf Ihre Webseite installiert ist. Es kann Software sein, die versucht Ihre Kontaktformulare auszufüllen und Ihnen damit Nachrichten mit irgendwelchen (Werbe-)Botschaften zu senden („Spam“). Oder die Ihre Webseite nach E-Mailadressen absurft, um diese dann für Spam-Zwecke zu verwenden. Es kann aber auch Software sein, die Ihren Content zu diversen Geschäftszwecken einsammelt („robots“), in eine riesige Datenbank schreibt und dort bspw. Analysen ausführt, der Betreiber anschließend die Analyse-Ergebnisse verkauft und damit versucht, Geld zu verdienen. Dies zu verhindern ist fast ein Ding der Unmöglichkeit. Fakt ist jedoch: je weniger wirkliche Menschen Ihre Webseite besuchen, je anteilig höher können Spam-Roboter unter Ihren Besucher/Besucherinnen sein.
In Bezug auf die Webanalyse mit Matomo ist es nun sehr ärgerlich, wenn Ihre Besuche-Daten nicht der Realität entsprechen, Sie also mehr „unechte“ Besuche und damit eine schlechtere Konversionsrate haben.
Das Tracking Spam Prevention Plugin in Matomo
Ich möchte Ihnen nun ein kostenloses Matomo-Plugin vorstellen, welches dem Herausfiltern solcher getarnten Zugriffe dient. Herausfiltern heißt, dass die Zugriffe nachwievor auf Ihrer Webseite stattfinden, Matomo sie jedoch nicht mehr zählt und sie nicht mehr in Ihren Metriken erscheinen. Das Plugin muss dazu lediglich installiert und aktiviert werden, was sehr einfach geht. Anschließend sind eine gute Handvoll Einstellungen zu aktivieren.
Das Plugin heißt Tracking Spam Prevention (zur Matomo-Seite des Plugins) und muss durch einen Hauptadministrator in Matomo unter dem Menüpunkt Plattform und MarketPlace installiert und aktiviert werden. Es ist wie oben geschrieben kostenlos.
Nach Aktivierung des Plugins sind noch keine Filtermaßnahmen aktiv. Hier müssen Sie nun Schritt für Schritt abwägen, welche Maßnahme verwendet werden soll. Die Einstellungen nehmen Sie als Hauptadministrator unter dem Menüpunkt System und Allgemeine Einstellungen (ans Ende scrollen) vor.
Hinweise: Beachten Sie, dass die folgenden Einstellungen des Plugins für die gesamte Matomo-Installation gelten. Verwalten Sie mehrere Webseiten in einer Matomo-Installation, müssen Sie vor dem Aktivieren einer Einstellung an die Auswirkungen auf alle Webseiten denken.
Matomo erkennt übrigens Suchmaschinen oder Robots mit Spam-Referern, die Ihre Webseite besuchen, bereits ohne dieses Plugin und filtert sie bereits jetzt aus Ihren Besuche-Statistiken heraus. Bei jedem Matomo-Update erhalten Sie, ohne das Sie es merken, auch ein Update dieser hinterlegten Listen.
Das Plugin Matomo Tracking Spam Prevention
Trackinganfragen aus der Cloud blockieren
Wenn aktiviert, prüft Matomo, ob die IP-Adresse des Besuches aus den IP-Adressbereichen von Cloud-Servern stammt. Die Annahme ist hier, dass ein Mensch nicht von einem Cloud-Server aus ins Internet geht und es sich hier also um einen Robot handeln muss.
Allerdings ist es denkbar, dass ein „realer“ Mensch mit VPN ins Internet geht und daher mit der IP-Adresse seines VPN-Dienstanbieters surft. Dieser wiederrum kann dafür Cloud-Server nutzen. Diesen Verlust an Besuchen muss man leider in Kauf nehmen, wenn man diese Einstellung aktiviert, da auch diese mit ausgefiltert werden.
Sollte eine Webseite ganz regulär und beabsichtigt Zugriffe von Diensten aus einer Cloud erhalten, die bislang getrackt wurden, so empfiehlt sich eine Ausnahmenliste der IP-Adressenbereiche der konkreten Cloud zu hinterlegen. Dies muss dann in der Matomo-Konfigurationsdatei geschehen. Siehe dazu die FAQ des Plugins.
Zum Zeitpunkt des Schreibens dieses Artikels werden die Clouds von Amazon (AWS), Google, Microsoft (Azure), Oracle und Digitalocean erkannt.
Es ist desweiteren möglich weitere Cloud-Provider anhand ihres Namens zu hinterlegen. Dies muss jedoch in der Matomo-Konfigurationsdatei erfolgen. Ferner muss die Geolokalisierung mit einer Standortdatenbank aktiv genutzt werden, damit die IP den Clouds zugeordnet werden kann.
Zu blockierende IP-Adressen als Liste können ja bislang bereits im Matomo Backend in den Einstellungen für alle Webseiten oder für einzelne Webseiten erfasst werden.
Headless Browser blockieren
Wenn aktiviert, werden Besuche von Browserkennungen herausgefiltert, die auf Browser ohne Benutzerinterface hinweisen (z.B. HeadlessChrome). Solche Browser werden im Rahmen von automatisierten Software-Tests eingesetzt, jedoch können Sie auch für automatisiertes „Absurfen“ von Webseiten von Spam Robotern genutzt werden.
Diese Einstellung kann aus meiner Erfahrung in der Regel aktiviert werden.
Trackinganfragen von Tools und Bibliotheken blockieren
Wenn aktiviert, werden Besuche von ganz bestimmten Tools herausgefiltert, die vor allem von Programmierern zum Aufruf von http-Anfragen (curl, HTTP, Postman, Guzzle) genutzt werden. Das sind Tools bzw. Besuche die beim Matomo-Tracking mit JavaScript und wenn sie das JavaScript nicht ausführen, ohnehin nicht beachtet werden würden. Führen sie jedoch das JavaScript von Matomo aus, so beeinflussen auch sie die Zugriffsstatistiken.
Hier empfiehlt sich also eine Aktivierung. Ebenso empfiehlt sich eine Aktivierung, wenn Sie mit der Logfile-Analyse arbeiten.
Sollte eine Webseite jedoch ihr Tracking nicht mit JavaScript sondern mit anderen Mitteln auf dem Server (PHP, Java etc.) durchführen und von dort aus nach Matomo tracken, so darf diese Einstellung nicht aktiviert werden.
Maximal aufzuzeichnende Aktionen je Besuch begrenzen
Hier kann eine Anzahl von maximal möglichen Aktionen je Besuch hinterlegt werden. Aktionen in Matomo sind Seitenaufrufe, Downloads, aber auch falls hinterlegt Events oder Contentimpressions. Viele Spam-Robots, die eine Webseite besuchen, surfen stundenlang durch den Webauftritt und hinterlassen durchaus mal hunderte bis tausenden Aktionen in einem Besuch. Das macht kein „realer“ Mensch, insofern bietet sich an, hier eine Obergrenze zu hinterlegen.
Es empfiehlt sich von regulären Besuchern die durchschnittliche Höchstanzahl von Aktionen in einem längeren Zeitraum zu ermitteln und diese ggf. mit einem Aufschlag als Wert einzutragen.
Wird die Obergrenze erreicht, werden alle weiteren Aktionen dieses Besuchers nicht mehr gezählt. Der Besucher wird zudem für 20 Stunden gesperrt, d.h. es würden keine neuen wiederkehrenden Besuche gezählt. Initial einmal, also bis zum Erreichen der Obergrenze, wird jedoch ein Besuch in Matomo protokolliert.
Prüfen Sie vor Verwendung genau, wann und wo auf Ihrer Webseite Aktionen ausgelöst werden und was eine angemessene Maximalanzahl sein könnte. Gerade Events oder Contentimpressionen können die Anzahl schnell nach oben treiben!
Zugriffe aus bestimmten Ländern ausschließen
Hier können Zugriffe aus auswählbaren Ländern herausgefiltert werden. Z.B. auf einer deutschsprachigen Seite könnte man alle Zugriffe aus diversen Ländern ausfiltern, von denen man normalerweise keinen Besuch erwartet.
Dabei wird auf die an Matomo angebundene Standortdatenbank zurückgegriffen und die IP-Adresse auf ihre Herkunft geprüft. Auch hier kann es durch die anonymisierte IP-Adresse als auch fehlende Aktualität der Datenbank zu Fehlern kommen. Siehe meine Ausführungen eingangs dieses Artikels.
Ferner stellt sich die Frage, ob es nicht doch sein kann, dass ein „realer“ Mensch bspw. in Argentinien meine Webseite aufsucht, da er des Deutschen mächtig ist und sich über etwas informieren möchte.
Für Aktivierung dieser Einstellung kann ich eher keine Empfehlung aussprechen, sei denn man führt die Standortermittlung mit voller IP-Adresse und aktueller Adressdatenbank durch.
Zugriffe nur aus bestimmten Ländern erlauben
Hier können Zugriffe nur aus bestimmten Ländern erlaubt werden. Alle anderen Länder würden herausgefiltert. Es ist also die umgekehrte Einstellung zu dem zuvor genannten Punkt.
Auswirkung nur auf zukünftige Besucher-Zugriffe
Die Einstellungen wirken sich nach Aktivierung auf künftige Zugriffe aus. Zugriffe aus der Vergangenheit, selbst wenn sie in Matomo invalidiert würden, erfahren keine nachträgliche Filterung.
Fazit
Das Plugin Tracking Spam Prevention ist ein Werkzeug, um ungebetene Besucher, die in dem Fall keine „realen“ Menschen sind, aus den Matomo-Statistiken herauszufiltern bzw. sie erst gar nicht aufzunehmen. Die Einstellmöglichkeiten bieten eine gute Flexibilität anhand von den verfügbaren Daten, die automatisierte Browser und Tools üblicherweise mitschicken. Ich empfehle jeder Webseite dieses Plugin zu aktivieren und zu verwenden, um realere Zahlen zu erhalten. Insbesondere für die Logfile-Analyse, die ja keine Einwilligung in das Tracking erfordert, ist es ein sehr gutes Hilfsmittel, um Spam-Robots auszufiltern.
Ein Wehmutstropfen ist, dass bei größeren Matomo-Installationen mit mehreren Webseiten ein gemeinsamer Nenner zwischen den Maßnahmen für alle Webseiten gefunden werden muss, da die Plugin-Einstellungen nach Aktivierung für alle Webseiten gelten. Ist hier kein gemeinsamer Nenner zwischen Webseiten möglich, muss Matomo für bestimmte Webseiten extra installiert werden.
Links
- Was sind Bots? https://www.link11.com/de/blog/bedrohungslage/bot-was-sind-spam-social-crawler-bots/
- Matomo Marktplatz (Englisch) für weitere Plugins https://plugins.matomo.org/
Kundenstimmen aus meinen Projekten
Schreibe einen Kommentar