Arama trafiğimizin çoğu hiçbir zaman insan değildi
Cinevva CTO'su Oleg Sidorkin tarafından
Organik arama trafiğimiz büyüyor ve yıl boyunca da büyümeye devam etti. Bu kısmı gerçek. Ancak temmuz başında çizgi, yayımladığımız hiçbir şeyle örtüşmeyecek şekilde sıçradı; arkasında bir neden olmayan sıçrama, bir öğleden sonrayı araştırmaya ayırmaya değerdi.
Araştırdık ve Google yönlendirmesiyle gelen bir başsız Chrome filosu bulduk.
Zirveden çok eğrinin biçimi önemli
İlkbahar boyunca sahte oturumların oranı, tüm oturumların üçte biri ile üçte ikisi arasında dalgalandı. Bu, kabaca halka açık her web sitesinin yaşadığı arka plan gürültüsüydü.
Haziran sonunda yükselmeye başladı ve yükselmeyi sürdürdü. Nisanın ilk haftasından itibaren ölçüldüğünde gerçek oturumlar temmuz ortasına kadar yaklaşık 5,5 kat büyüdü. Otomatik oturumlar ise yaklaşık 18,6 kat büyüdü.
Görmek neden zordu?
Bu sayıları yakından izliyoruz ve açıklaması olmadan hareket eden her şey için bir sorgu yazıyoruz. Bunun gerçekten derinlemesine araştırma gerektirmesinin nedeni, oturum satırlarımızın iki grubu gerçekten birbirinden ayıramamasıydı.
Etkileşim, her oturumun last_activity_at zaman damgasından çıkarılıyordu. Tek sayfalık bir ziyarette bu alan, ilk yazımdan sonra hiç değişmez.
Dolayısıyla tek bir sayfayı yükleyip ayrılan bir bot ile bir rehbere gelip onu beş dakika okuyan bir kişi aynı satırı yazıyordu. Hemen çıkma oranı, sitede geçirilen süre, etkileşim; bunların tamamı, tek sayfalık oturumlar hakkında hiçbir bilgi taşımayan bir alandan çıkarılıyordu. Bu olağandışı bir durum değil. Şirket içinde geliştirilen analiz sistemlerinin çoğunda varsayılan yaklaşım bu ve sizinkinde de ilk kontrol edeceğim şey bu olurdu.
Çözüm, oturum satırından çıkarım yapmayı bırakıp bunun yerine istemciden gerçek sayfada kalma süresini ve kaydırma derinliğini bildiren çıkış işaretini okumaktı. Çıkarım yerine kanıt kullanınca iki grup hemen ayrıldı.
| İşaretlenenler | Diğer herkes | |
|---|---|---|
| Hiç kaydırma yapanlar | 1.8% | 56.5% |
| Oturum açmış bir hesaba ait olanlar | 0.05% | 29% |
Bu fark, sınıflandırıcının sessiz ziyaretçileri robot olarak etiketlemek yerine gerçek bir olguyu tanımladığına dair kanıtımız.
Bir filoyu gerçekte ele veren şeyler
Bakılacak en kötü yer kullanıcı aracısıdır çünkü değiştirilmesi en ucuz şey odur. En iyi sinyalin ekran kartı olduğu ortaya çıktı.
Veri merkezlerindeki başsız tarayıcıların GPU'su yoktur; bu nedenle yazılımsal işlemeye geri dönerler ve WebGL, işleyici dizesini ikinci kez sormaya gerek kalmadan bildirir. SwiftShader, llvmpipe, Mesa OffScreen. Gerçek ziyaretçilerin gerçek GPU'ları vardır.
| Sinyal | Yakaladığı şey | Kanıtlarımızdaki payı |
|---|---|---|
| Yazılımsal GPU işleyicisi | Fiziksel ekran kartı yok | 90.5% |
| Veri merkezi veya proxy ASN'si | Kiralık ağ kaynağı | 58% |
navigator.webdriver | Açık bırakılmış otomasyon bayrağı | 10.4% |
Ağ kaynağı beklediğinizden daha az yardımcı oldu. Bu oturumların yaklaşık onda dördü gerçek bireysel internet sağlayıcıları üzerinden çıkış yapıyor. Konut proxy'leri artık ucuz ve botların AWS'den geldiğini varsayan her kural bunların neredeyse yarısını kaçırır.
Geri kalan sinyaller, istemcinin kendisi hakkında bildirdiği fiziksel imkânsızlıklardan geldi. Bir Chromium kullanıcı aracısı her zaman, 2013'ten beri 537.36'da sabitlenmiş AppleWebKit belirteciyle eşleşen bir Safari belirteciyle biter; bu filo ise yazım hataları içeren Safari/537.35 ve .38 değerleri üretiyordu. Bir telefon kullanıcı aracısı 1600x1200 ekranı olduğunu iddia etti. Başka bir varyant kusursuz bir 1600x1600 kare olduğunu öne sürdü. Bir diğeri ise kimsenin üretmediği, 2,5:1 oranında dikey bir masaüstü monitörü olan 1200x3000 değerini bildirdi.
Bunların her biri birilerinin emülatör yapılandırması ve özellikle aramadığınız sürece hiçbiri görünmüyor.
Filo, onu her işaretlediğimizde uyum sağladı
İlk profil Linux Chrome, Google yönlendirmesi, America/New_York ve 1920x1080'di. Bir kural yazdık.
800x600 çözünürlükte ve UTC kullanan bir varyant geri geldi. Kuralı genişlettik.
Ardından China Mobile ve Unicom'un konut bağlantılarını kullanan, sabitlenmiş tarayıcı sürümlerine sahip Çinli bir grup ortaya çıktı. Bunların arasında Mart 2022'den kalma Chrome 99 ve Chrome DevTools cihaz emülasyonunun varsayılanı olan, 2018 WeChat çalıştıran 2015 model Nexus 5 de vardı. Bunlar bireysel internet sağlayıcıları üzerinden çıkış yaptığı için sahip olduğumuz tüm ağ kuralları karşılarında işe yaramazdı.
Sonra Cox ve Comcast üzerinden, 1920x1080 çözünürlükte güncel ve tamamen makul bir Chrome 146 kullanıcı aracısı kullanan ABD varyantı ortaya çıktı. Bu parmak izinde yanlış hiçbir şey yok ve oturumlara tek tek bakıldığında gerçek bir ziyaretçiden ayırt edilemiyor.
Bu yüzden geliştirdiğimiz son algılayıcı tek tek oturumlara bakmıyor. Önceki 48 saati ülke, kullanıcı aracısı, ekran boyutu ve trafik kaynağına göre gruplandırıyor; ardından en az %95'inin üç saniye boyunca hiçbir şey okumadığı ve tek bir piksel bile kaydırmadığı, en az 20 anonim oturumdan oluşan kümeleri arıyor.
Gerçek ziyaretçiler bu kadar sıkı kümelenmez. Aynı tarayıcıyı aynı çözünürlükte kullanan ve hiçbir şey okumadan ayrılan yirmi yabancı, yirmi adres kullanan tek bir makinedir. Kümede gerçekten okuyan veya kaydıran herkes insan olarak kalır; gerçek bir hesaba bağlı oturumlar ise hiçbir zaman işaretlenmez.
Denetim, ters yöndeki hatayı da buldu
Sahte ziyaretçileri rakamlardan çıkarırken, göz ardı ettiğimiz gerçek ziyaretçileri de bulduk.
Gerçek okuma sürelerini elde ettiğimizde, insanlara ait hemen çıkışlar olarak saydıklarımızın %34,2'sinin 30 saniye veya daha uzun süre okuyan ya da sayfanın yarısından ötesine kayan kişiler olduğu ortaya çıktı. Bu "başarısızlıkların" üçte birinde içerik aslında görevini yapıyordu. Bing üzerinden gelen Çinli okuyucular tek bir rehberde beş dakika geçiriyor ve hemen çıkmış olarak kaydediliyordu.
Rakamlar aynı anda iki yönde de hatalıydı ve her iki hata da aynı yanlış sonuca işaret ediyordu. Birlikte, trafiğiniz aslında daha küçük ve daha derinken size büyük ve yüzeysel olduğunu söylüyorlar.
Para ödediğimiz kanal dürüst olandı
Son 30 gün. Google organik, bu dönemdeki tüm oturumların %63,7'sini oluşturdu.
Büyüme alanındaki her içgüdü tersini söyler. Dolandırıcılığın ücretli tarafta, hak ederek kazandığınız trafiğin ise organik tarafta olduğunu varsayarsınız. Bizde durum tersine dönmüştü.
Bütçeyi temmuz rakamlarına göre yeniden dağıtsaydık, parayı gerçekten insan getiren kanaldan uzaklaştırıp bir veri kazıyıcı için daha fazla içerik üretmeye aktaracaktık.
Neden bir öğleden sonranızı ayırmaya değer?
Sayının kendisi yalnızca bir sayı. Ancak onun aşağı akışında sırada hangi sayfaları yazacağımız, hangi dile yatırım yapacağımız, bir kampanyanın değerlendirmeden sağ çıkıp çıkmayacağı ve çeyreğin aynı şeyi yapmayı sürdürecek kadar iyi görünüp görünmediği var. Bunların tümü, ucuz bir proxy havuzuna sahip bir yabancı tarafından değiştirilebilir.
Küçük bir site işletiyorsanız kendi büyüme eğrinize güvenmeden önce GPU işleyici dizelerinize ve çıkış işaretlerinize bakın.
Bizim rakamlarımızı da kesin hüküm değil, alt sınır olarak değerlendirin. Buradaki "insan" yalnızca "henüz yakalanmamış" anlamına geliyor; kurallar tesadüfen gözlemlediğimiz parmak izlerinden yazıldı ve bu filoyu kimin yönettiğini ya da bir oyun oluşturma sitesiyle ne yapmak istediğini hâlâ bilmiyoruz.
İlgili içerikler:
- Sabit maliyet tuzağı — arkasında hiçbir şok emici olmadığı ortaya çıkan başka bir sayı
- Neden kendi WebGPU motorumuzu geliştirdik? — bağımlı olduğunuz katmana sahip olmakla ilgili aynı sav
- Rehberler — bu denetimin ölçmesi gereken içerikler