SERP Toplamada Rotasyon: Sorgu Dağıtımı ve Kota Planı

SERP toplamada rotasyon, yüzlerce anahtar kelimenin arama sonucu sayfasını her gün aynı saatte çekerken sorguların tek bir çıkış adresinden gitmesini engeller. Arama motoru, bir IP’den dakikada onlarca farklı sorgu geldiğini gördüğünde önce doğrulama sayfası, sonra boş ya da kısaltılmış sonuç döndürür. Rotating proxy her sorguyu havuzdan başka bir adrese dağıtır ve her adres arama motoruna sıradan bir ziyaretçi gibi görünür.

Sıra takibinin ölçüm planı ayrı bir konudur; toplama katmanında dört soru vardır: sorgular IP’lere nasıl dağıtılır, lokalizasyon parametresi çıkış adresiyle nasıl uyumlu tutulur, aynı sorgunun farklı IP’lerden farklı sıra getirmesi nasıl yorumlanır ve bir günlük sorgu takvimi kaç GB tutar. Ülke havuzu seçimi ayrı bir rehberde işlendi; aşağıda yalnız o seçimin rotasyonla kesiştiği yer var.

Birinci iz, adres tekrarıdır. Gerçek bir kullanıcı günde birkaç sorgu yapar; aynı adresten dakikalar içinde yüzlerce farklı sorgu gelmesi tek başına yeterli bir işarettir. Rotasyonun ilk görevi bu tekrarı kırmaktır ve bunun için her sorgunun ayrı bir adresten gitmesi gerekir. Aynı adreste beş on sorgu toplamak bile bazı hedeflerde sayacı doldurur.

İkinci iz, sorgu desenidir. Alfabetik sıralı anahtar kelimeler, sabit aralıklarla gelen istekler ve her seferinde aynı sonuç sayfası boyutunu isteyen parametreler bir betiği ele verir. Rotasyon bunu çözmez; sorgu listesini karıştırmak ve istekler arasına düzensiz bekleme koymak toplayıcının işidir. IP değişse bile desen aynıysa doğrulama sayfası gelmeye devam eder.

Üçüncü iz, coğrafi tutarsızlıktır. Sorgu parametresi bir ülke söylerken çıkış adresi başka bir ülkedeyse arama motoru ya parametreyi yok sayar ya da sonucu adrese göre verir. Bu durumda sıra ölçümü yanlış pazara ait çıkar ve hata fark edilmeden haftalarca raporlara girer. Rotasyon kurgusu bu yüzden ülke filtresiyle birlikte düşünülür; sonraki bölümlerde bu uyum ayrıca ele alınır.

Sorgu başına IP modelinde her anahtar kelime isteği yeni bir çıkış adresinden gider. Sonuç sayfaları birbirinden bağımsız olduğu için oturum tutmaya gerek yoktur; çerez taşınmaz, her istek temiz bir ziyaretçi gibi başlar. Bu model çoğu masaüstü SERP toplama işinin varsayılanıdır ve rotasyon aralığı rehberindeki bağımsız sayfa sınıfına girer. Kurulumu da en basittir: proxy uç noktasına istek başına rotasyon ayarı verilir, toplayıcı tarafında hiçbir oturum mantığı yazılmaz.

Küme başına oturum modeli ise aynı sorgunun ikinci ve üçüncü sayfasını ya da aynı anahtar kelimenin masaüstü ve mobil görünümünü tek bir ziyaretçi gibi çekmek gerektiğinde kullanılır. Bir anahtar kelimeye ait bütün sayfalar aynı sticky oturumdan gider, küme bitince oturum kimliği değişir ve yeni adres alınır. İkinci sayfa isteğinde adres atlarsa arama motoru bazen sayfalandırmayı sıfırlar ya da ilk sayfayı yeniden verir; ölçüm o sorgu için çöp olur.

İki modeli aynı projede karıştırmak mümkündür. İlk sayfa yeterli olan anahtar kelimeler istek başına rotasyonla, derin sayfa isteyen anahtar kelimeler sticky oturumla gider. Toplayıcı, her anahtar kelimenin kaç sayfa istediğini listede tutar ve isteği buna göre iki ayrı proxy yapılandırmasından birine yönlendirir. Bu ayrım kota hesabını da etkiler, çünkü derin sayfa isteyen kelimeler sayfa sayısı kadar trafik üretir.

Sıra takibi araçları sonuçları bir ülkeye, bazen bir şehre göre ister ve bunu sorgu parametresiyle ya da arama motorunun kendi konum kodlamasıyla bildirir. Çıkış adresi bu parametreyle aynı ülkedeyse sonuç tutarlıdır. Farklıysa iki olasılık vardır: parametre kazanır ve sonuç doğru pazara ait olur, ama adres ile parametre çelişkisi şüphe sayacına yazılır; ya da adres kazanır ve rapordaki sıra başka bir ülkenin sırasıdır.

Rotasyonu ülke filtresiyle birlikte kurmak bu çelişkiyi ortadan kaldırır. Havuzun ülke filtresi, parametredeki ülkeyle aynı tutulur; birden fazla pazarı izleyen bir proje her pazar için ayrı bir ülke filtreli uç nokta kullanır ve anahtar kelime listesini pazara göre böler. Tek uç noktadan bütün dünyayı taramak ve ülkeyi yalnız parametreyle söylemek, toplama katmanında en sık yapılan hatadır.

Şehir düzeyinde ölçüm isteyen projelerde çıkış adresinin şehri, parametredeki şehirle her zaman eşleşmez; havuzun şehir çözünürlüğü ülke çözünürlüğü kadar kesin değildir. Bu projelerde parametre şehri söyler, adres yalnız ülkeyi tutturur. Ülke uyumu sağlandığı sürece arama motoru çoğunlukla parametredeki şehri esas alır; uyum bozulduğunda şehir parametresi de güvenilmez olur.

Rotasyon kullanan herkes aynı şeyi görür: aynı anahtar kelime iki dakika arayla iki farklı adresten sorulduğunda sıra bir iki basamak oynar. Dalgalanmanın kaynağı arama motorunun kendisidir: farklı veri merkezlerinden, farklı deney gruplarıyla ve farklı önbellek durumlarıyla yanıt verir. Rotasyon yalnız bu doğal dağılımı görünür kılar, çünkü tek adresle çalışan bir toplayıcı her gün aynı veri merkezine düşüp dalgalanmayı saklar.

Gürültüyü ayırmanın yolu örneklemedir. Öncelikli anahtar kelimeler günde tek sorguyla değil, aynı gün içinde farklı saatlerde ve farklı adreslerden üç sorguyla ölçülür; raporlanan sıra bu üç değerin ortancasıdır. Üç değer arasındaki fark bir basamağı geçmiyorsa ölçüm güvenilirdir. Fark büyükse ya sonuç sayfası gerçekten istikrarsızdır ya da adreslerden biri farklı bir ülkeye düşmüştür; ikinci durum ülke uyumu bölümündeki kontrolle ayrılır.

Kişiselleştirme ikinci gürültü kaynağıdır. Toplayıcı her istekte çerez göndermemeli, dil ve kabul başlıklarını sabit tutmalı ve sonuçları kişiselleştirmeyi kapatan parametreyi kullanmalıdır. Sticky oturum modelinde bu daha dikkat ister: oturum boyunca çerez biriktiği için ikinci sayfa, birinci sayfanın tıklanmamış sonuçlarına göre şekillenebilir. Oturum, küme bitince mutlaka kapatılır ve çerez kavanozu temizlenir.

GB bazlı ürünlerde kota, sorgu sayısı ile sayfa boyutunun çarpımıdır. Varsayımlar şöyle olsun: izlenen anahtar kelime sayısı 500, her kelime için yalnız ilk sayfa çekilsin ve bir SERP sayfası sıkıştırılmış halde yaklaşık 200 KB gelsin. Bu durumda bir günlük tur 500 çarpı 200 KB, yani yaklaşık 100 MB tutar; otuz günde 3 GB’a yaklaşır. Öncelikli 100 kelime üçer kez ölçülüyorsa günlük sorgu 700’e, aylık trafik 4 GB’ın biraz üstüne çıkar.

Sayfa boyutu varsayımı projenin kendi ölçümüyle değiştirilmelidir; görselleri, betikleri ve reklam bloklarını yükleyen tam tarayıcı toplama aynı sayfayı birkaç kat büyütür. Yalnız HTML çeken bir toplayıcı en düşük kotayı harcar. Gereksiz kaynakları engellemek rotasyon ayarından çok daha fazla GB tasarrufu sağlar; bu konunun ayrıntısı kota planlama rehberinde var.

Takvim tarafında istekleri güne yaymak hem hız sınırı hem rotasyon için gereklidir. 700 sorguyu bir dakikaya sığdırmak, havuzun o dakikada verdiği adres çeşitliliğini tüketir ve aynı adreslerin tekrar sıraya girmesine yol açar. Aynı sorgular bir saate yayıldığında her adres bir kez kullanılır ve arama motoru hiçbir adreste yığılma görmez. Ölçüm saatinin her gün aynı olması rapor tutarlılığı için yeterlidir; dakika hassasiyeti gerekmez.

Doğrulama sayfası gelen istek aynı adresle yeniden denenmez; ikinci deneme aynı sayfayı getirir ve o adresin puanını düşürür. Toplayıcı bu yanıtı tanımalı, isteği başarısız sayıp yeni bir adresle kuyruğa geri koymalıdır. Yeniden deneme sayısı ve bekleme eğrisi retry ve backoff rehberindeki kurallarla belirlenir; SERP toplamada aynı anahtar kelimenin ikinci denemesi için bekleme en az birkaç dakika olmalıdır.

Doğrulama oranı yükseldiğinde önce sorgu desenine bakılır, rotasyon ayarına sonra. Oran yüzde birkaçın altındaysa havuz sağlıklıdır ve arada gelen doğrulama sayfaları yalnız kuyruğa geri konur. Oran aniden yükseldiyse ya toplama hızı havuzun adres çeşitliliğini aştı ya da istek başlıkları bir güncellemeyle bozuldu. Hızı yarıya indirip oranın düşüp düşmediğine bakmak en hızlı teşhistir.

Boş ya da eksik sonuç sayfası ayrı bir sorundur. Arama motoru bazen doğrulama yerine daha az sonuç ya da yalnız reklam bloğu döndürür; HTTP durumu başarılıdır, sayfa gelir, ama içinde organik sonuç yoktur. Toplayıcı her yanıtı içerik düzeyinde doğrulamalı, beklenen sonuç sayısının altındaki sayfayı başarısız sayıp yeni adresle yeniden istemelidir. Bu kontrol yoksa rapora sıfır ya da yanlış sıra yazılır.

RotatingProxy kataloğunda SERP toplamaya en yakın ürün IPv4 residential rotating proxy’dir: 180’den fazla ülke kapsamı, sticky ve rotating oturum seçenekleri ve GB bazlı, süre sınırı olmayan paketler. Sorgu başına IP modeli rotating oturumla, küme başına oturum modeli sticky oturumla kurulur; iki model aynı paketten çalışır.

Mobil SERP ölçümü için mobile rotating proxy ayrı bir yol açar; operatör ağından çıkan adresler mobil sonuç sayfasını masaüstünden farklı getirir ve iki görünümü yan yana izlemek isteyen projeler iki ürünü paralel kullanır. IPv6 residential rotating proxy ise hedef arama motoru IPv6 üzerinden yanıt veriyorsa seçeneğe girer; port bazlı aylık ücretlendirmesi, sabit hacimli günlük tur için GB hesabını ortadan kaldırır. Hedefin IPv6 testi için IPv4 mı IPv6 mı rehberindeki üç adımlı kontrol kullanılır.

Datacenter rotating proxy SERP toplamada ilk tercih değildir; arama motorları veri merkezi bloklarını daha sık doğrulamaya alır ve aynı havuz yüksek hacimli ürün sayfası toplamada çok daha verimli çalışır. Pazar sayısı arttıkça her pazar için ülke filtreli ayrı uç nokta, tek paket üzerinden açılır; kota, pazarların toplam sorgu sayısına göre tek seferde planlanır.