Der Großteil unseres Suchtraffics war nie menschlich
Von Oleg Sidorkin, CTO von Cinevva
Unser organischer Suchtraffic wächst, und das schon das ganze Jahr. Dieser Teil ist echt. Doch Anfang Juli machte die Kurve einen Sprung, der zu nichts passte, was wir veröffentlicht hatten. Ein Sprung ohne erkennbare Ursache ist eine nähere Untersuchung wert.
Wir gingen der Sache nach und entdeckten eine Headless-Chrome-Flotte mit Google-Referrer.
Die Form der Kurve ist wichtiger als ihr Höchststand
Im Frühjahr schwankte der Anteil gefälschter Sitzungen zwischen einem Drittel und zwei Dritteln. Das entspricht ungefähr dem Grundrauschen, mit dem jede öffentliche Website leben muss.
Ende Juni begann der Anteil zu steigen und stieg immer weiter. Gemessen ab der ersten Aprilwoche nahmen die echten Sitzungen bis Mitte Juli etwa um das 5,5-Fache zu. Die automatisierten Sitzungen nahmen etwa um das 18,6-Fache zu.
Warum das so schwer zu erkennen war
Wir beobachten diese Zahlen genau, und sobald sich etwas ohne Erklärung bewegt, schreiben wir eine Abfrage dafür. Dass dieser Fall eine gründliche Untersuchung erforderte, lag daran, dass unsere Sitzungsdatensätze die beiden Gruppen tatsächlich nicht voneinander unterscheiden konnten.
Das Engagement wurde aus dem Zeitstempel last_activity_at der jeweiligen Sitzung abgeleitet. Bei einem Besuch auf nur einer Seite ändert sich dieses Feld nach dem ersten Schreibvorgang nicht mehr.
Ein Bot, der eine Seite lädt und sie wieder verlässt, erzeugt daher denselben Datensatz wie eine Person, die auf einem Leitfaden landet und ihn fünf Minuten lang liest. Absprungrate, Verweildauer, Engagement – all das wurde aus einem Feld abgeleitet, das bei Sitzungen mit nur einem Seitenaufruf keinerlei Informationen enthält. Das ist nicht ungewöhnlich. Es ist bei den meisten selbst entwickelten Analysesystemen der Standard und wäre das Erste, was ich auch bei Ihrem System prüfen würde.
Die Lösung bestand darin, nicht länger vom Sitzungsdatensatz auf das Verhalten zu schließen, sondern stattdessen den Exit-Beacon auszuwerten. Dieser meldet die tatsächliche Verweildauer und Scrolltiefe vom Client. Mit Belegen statt Schlussfolgerungen ließen sich die beiden Gruppen sofort voneinander trennen.
| Markiert | Alle anderen | |
|---|---|---|
| Überhaupt gescrollt | 1,8 % | 56,5 % |
| Gehört zu einem angemeldeten Konto | 0,05 % | 29 % |
Dieser Unterschied ist unser Beleg dafür, dass der Klassifikator etwas Reales erfasst, statt ruhige Besucher als Roboter einzustufen.
Woran sich eine Flotte tatsächlich verrät
Der User-Agent ist der schlechteste Anhaltspunkt, weil er sich am einfachsten ändern lässt. Das beste Signal erwies sich als die Grafikkarte.
Headless-Browser in einem Rechenzentrum haben keine GPU und greifen deshalb auf Software-Rendering zurück. WebGL gibt den Renderer-String dabei ohne Weiteres preis: SwiftShader, llvmpipe, Mesa OffScreen. Echte Besucher haben echte GPUs.
| Signal | Was es erkennt | Anteil an unseren Indizien |
|---|---|---|
| Software-GPU-Renderer | Keine physische Grafikkarte | 90,5 % |
| Rechenzentrums- oder Proxy-ASN | Angemieteter Netzwerkursprung | 58 % |
navigator.webdriver | Aktiv gelassene Automatisierungskennung | 10,4 % |
Der Netzwerkursprung half weniger als erwartet. Etwa vier von zehn dieser Sitzungen laufen über echte Internetanbieter für Privatkunden. Residential Proxies sind inzwischen günstig, und jede Regel, die davon ausgeht, dass Bots aus AWS kommen, übersieht fast die Hälfte von ihnen.
Die übrigen Indizien bestanden aus physikalischen Unmöglichkeiten bei den Angaben, die der Client über sich selbst machte. Ein Chromium-User-Agent endet immer mit einem Safari-Token, das seinem AppleWebKit-Token entspricht und seit 2013 auf 537.36 festgeschrieben ist. Diese Flotte lieferte dagegen Tippfehler wie Safari/537.35 und .38. Ein Smartphone-User-Agent behauptete, einen Bildschirm mit 1600x1200 Pixeln zu haben. Eine andere Variante gab ein vollkommen quadratisches Format von 1600x1600 an. Eine weitere meldete 1200x3000 – einen Desktopmonitor im Hochformat mit einem Seitenverhältnis von 2,5:1, das niemand herstellt.
Jede dieser Angaben stammt aus der Emulatorkonfiguration von irgendjemandem, und keine davon fällt auf, solange man nicht gezielt danach sucht.
Die Flotte passte sich jedes Mal an, wenn wir sie markierten
Das erste Profil bestand aus Linux Chrome, einem Google-Referrer, America/New_York und 1920x1080. Wir schrieben eine Regel.
Eine Variante kehrte mit 800x600 und UTC zurück. Wir erweiterten die Regel.
Dann tauchte eine chinesische Kohorte auf, die private IP-Adressen von China Mobile und Unicom sowie festgelegte Browserversionen verwendete. Dazu gehörten Chrome 99 vom März 2022 und die standardmäßige Geräteemulation der Chrome DevTools: ein Nexus 5 von 2015 mit WeChat aus dem Jahr 2018. Diese Sitzungen laufen über Internetanbieter für Privatkunden, sodass sämtliche unserer Netzwerkregeln gegen sie nutzlos waren.
Anschließend erschien eine US-Variante über Cox und Comcast mit einem aktuellen, vollkommen plausiblen Chrome-146-User-Agent bei 1920x1080. An diesem Fingerabdruck ist nichts falsch, und einzeln betrachtet lässt sich eine solche Sitzung nicht von einem echten Besucher unterscheiden.
Unser letzter Detektor betrachtet deshalb keine einzelnen Sitzungen. Er gruppiert die vergangenen 48 Stunden nach Land, User-Agent, Bildschirmgröße und Trafficquelle. Anschließend sucht er nach Clustern aus mindestens 20 anonymen Sitzungen, bei denen mindestens 95 % weder drei Sekunden lang lesen noch auch nur ein Pixel scrollen.
Echte Besucher bilden keine derart homogenen Cluster. Zwanzig Fremde mit identischem Browser und identischer Auflösung, die alle wieder verschwinden, ohne irgendetwas zu lesen, sind eine Maschine mit zwanzig Adressen. Wer innerhalb des Clusters tatsächlich gelesen oder gescrollt hat, gilt weiterhin als Mensch, und Sitzungen, die mit einem echten Konto verknüpft sind, werden grundsätzlich nie markiert.
Das Audit deckte auch den umgekehrten Fehler auf
Während wir gefälschte Besucher aus den Zahlen entfernten, fanden wir auch echte Besucher, die wir bislang verworfen hatten.
Nachdem uns tatsächliche Lesezeiten vorlagen, stellte sich heraus, dass 34,2 % der vermeintlich menschlichen Absprünge von Personen stammten, die mindestens 30 Sekunden lang gelesen oder über die Hälfte der Seite hinaus gescrollt hatten. Bei einem Drittel dieser „Misserfolge“ funktionierten die Inhalte also genau wie vorgesehen. Chinesische Leser, die über Bing kamen, verbrachten fünf Minuten mit einem einzelnen Leitfaden und wurden trotzdem als Absprünge erfasst.
Die Zahlen waren gleichzeitig in beide Richtungen falsch, und beide Fehler vermittelten denselben falschen Eindruck. Zusammen ließen sie den Traffic groß und oberflächlich erscheinen, obwohl er in Wirklichkeit kleiner und intensiver war.
Der bezahlte Kanal war der ehrliche
Letzte 30 Tage. Die organische Google-Suche machte in diesem Zeitraum 63,7 % aller Sitzungen aus.
Jeder Instinkt im Wachstumsmarketing deutet in die andere Richtung. Man nimmt an, beim bezahlten Traffic betrogen zu werden, während man sich den organischen Traffic verdient hat. Bei uns war es genau umgekehrt.
Hätten wir unser Budget anhand der Juli-Zahlen neu verteilt, hätten wir Geld von dem Kanal abgezogen, der tatsächlich Menschen brachte, und stattdessen mehr Inhalte für einen Scraper produziert.
Warum sich eine nähere Untersuchung lohnt
Die Zahl selbst ist nur eine Zahl. Von ihr hängen jedoch die Seiten ab, die wir als Nächstes schreiben, die Sprachversionen, in die wir investieren, die Frage, ob eine Kampagne die Überprüfung übersteht, und ob das Quartal gut genug aussah, um genauso weiterzumachen. All das kann von einem Fremden mit einem billigen Proxy-Pool beeinflusst werden.
Wenn Sie eine kleine Website betreiben, sehen Sie sich Ihre GPU-Renderer-Strings und Exit-Beacons an, bevor Sie Ihrer eigenen Wachstumskurve vertrauen.
Und betrachten Sie unsere Zahlen eher als Untergrenze denn als endgültiges Urteil. „Menschlich“ bedeutet hier lediglich „noch nicht erkannt“. Die Regeln beruhen auf Fingerabdrücken, die wir zufällig beobachtet haben, und wir wissen noch immer nicht, wer diese Flotte betreibt oder was er von einer Website zur Spieleerstellung will.
Verwandte Beiträge:
- Die Fixkostenfalle — eine weitere Zahl, hinter der sich keinerlei Stoßdämpfer verbargen
- Warum wir unsere eigene WebGPU-Engine entwickelt haben — dasselbe Argument dafür, die Ebene selbst zu besitzen, von der man abhängig ist
- Leitfäden — die Inhalte, die dieses Audit eigentlich messen sollte