SERP Takibi için Rotating Proxy

Rotasyonu konuşmadan önce neyin döndüğünü netleştirmek gerekir. Proxy tarafında dönen şey çıkış IP’sidir; ama SERP verisinde anlam taşıyan en küçük parça tek bir HTTP isteği değil, sorgu birimidir. Sorgu birimi dört değişkenin birleşimidir: anahtar kelime, pazar (ülke ve dil), cihaz profili ve derinlik, yani kaçıncı sonuca kadar bakıldığı. Sayfa başına kaç sonuç döndüğü kaynağa göre değişir; derinlik arttıkça aynı sorgu birimi birden fazla sayfa isteğine bölünür.

Bu ayrımın önemi şuradadır: bir sorgu biriminin sayfaları farklı çıkış IP’lerinden toplanırsa, birinci ve ikinci sayfa aslında iki ayrı ölçümün parçaları olur. Arama motorları aynı sorguya kısa aralıklarla bile küçük farklarla yanıt verebildiği için, bir URL iki sayfada birden görünebilir ya da iki sayfanın arasında kaybolabilir. Sıralama hesabı bu durumda sessizce bozulur: 11. sırada görünen sonuç, aslında başka bir ölçümün 9. sırasıdır ve raporda bunu ayırt etmenin yolu kalmaz.

Bu nedenle SERP toplamada rotasyon aralığı tek bir kuralla özetlenebilir: sorgu biriminin içinde sabit, sorgu birimleri arasında dönen çıkış. Aşağıdaki tablo üç farklı rotasyon aralığının veri üzerindeki etkisini karşılaştırır.

Ürün tarafında bu aralıkların nasıl açıldığı farklıdır. Katalogda Rotating IPv4 Residential ve Rotating Mobile için sticky ve rotating oturum seçenekleri, Rotating IPv4 Datacenter için istek başına veya oturum bazlı rotasyon, IPv6 ürünleri için oturum yapılandırmalı rotasyon yazar. Oturumun hangi parametreyle açıldığı ve aynı IP’nin ne kadar süre korunduğu ürün belgelerinde ve panelde tanımlıdır; sorgu biriminin bu süreden kısa sürede tamamlandığından emin olun.

RotatingProxy kataloğunda bu kullanım alanıyla doğrudan ilişkili dört ürün vardır. Hepsi HTTP, HTTPS ve SOCKS5 destekler; ayrıştıkları nokta IP türü, rotasyon modu ve faturalama modelidir. IPv4 ürünleri tek seferlik GB paketleriyle satılır ve süre sınırı yoktur, kota bitene kadar kullanılır. IPv6 ürünleri port başına aylık faturalanır. Tablodaki birim fiyatlar katalog paketlerinden türetilmiştir.

Tablodan iki pratik sonuç çıkar. Birincisi, IPv4 Residential’da birim fiyat 10 GB’tan 200 GB’a kadar sabittir; bu aralıkta büyük paket almak GB başına tasarruf sağlamaz, yalnız daha uzun süre yeter. Süre sınırı olmadığı için paketi aylık tüketiminizin katlarına göre değil, nakit akışınıza ve bir sonraki gözden geçirme tarihine göre seçebilirsiniz. İkincisi, IPv6 port paketlerinde port başına en düşük fiyat 5 portluk pakettedir (port başına 16 USD); 10 portluk pakette bu tutar 17,5 USD’ye çıkar. “Büyük paket her zaman ucuzdur” varsayımı burada geçerli değildir.

Rotating IPv6 Datacenter da IPv6 kabul eden hedeflerde hacim için katalogda yer alır. SERP toplamada ise coğrafi doğruluk ve hedef uyumu genellikle önce gelir; bu ürünü ancak hedefin IPv6 üzerinden yanıt verdiği ve datacenter kaynaklı trafiğe olumsuz tepki vermediği bir pilotla doğrulandıktan sonra değerlendirin. Ürünlerin genel karşılaştırması ürün sayfalarında yer alıyor; bu rehber yalnız rotasyon davranışının SERP verisinin kalitesine etkisine odaklanır.

Gateway üzerinden çalışan bir rotating üründe size hangi IP’nin verileceğini siz seçmezsiniz; havuz bunu kendi kurallarıyla yapar. Sizin kontrolünüzde dört şey vardır: aynı anda kaç sorgu biriminin çalıştığı, birimlerin kuyruğa hangi sırayla girdiği, iki istek arasındaki aralık ve bir hata geldiğinde ne yapıldığı. Dağıtımın kalitesi bu dört kararın toplamıdır; hangi adresin geleceği bu kararların arasında yer almaz.

SERP toplamada ülke seçimi aslında iki ayrı karardır ve bunlar sık karıştırılır. Çıkış ülkesi, isteğin hangi ülkeden geldiğini belirler. Dil profili ise sorgu dilini ve arayüz dilini belirler; Accept-Language başlığıyla ve kaynağın dil parametresiyle verilir. Almanya’daki Türkçe konuşan kullanıcıların gördüğü sonuçları ölçmek istiyorsanız çıkış Almanya, dil Türkçe olur. İki kararı ayrı alanlarda tanımlamak, raporda “Almanya” etiketinin hangi kombinasyonu ifade ettiğini netleştirir.

Katalogda IPv4 ürün aileleri (Datacenter, Residential, Mobile) için kapsam notu 180+ ülkedir ve bunların 15’i doğrulanmış öne çıkan lokasyon olarak listelenir. IPv6 Residential için 9, IPv6 Datacenter için 8 ülke listelidir. Aşağıdaki tablo, öne çıkan 15 ülkenin hangi ürün ailesinde listelendiğini gösterir. Listede görmediğiniz bir ülke için siparişten önce güncel kapsamı panelden ya da destekten doğrulayın.

Tablo bir pratik kuralı görünür kılar: ölçtüğünüz pazarlardan biri yalnız IPv4 sütununda yer alıyorsa, bütün pazarları aynı ürünle ölçmek raporun karşılaştırılabilirliği açısından genellikle daha temizdir. Bir pazarı IPv6 Residential, diğerini IPv4 Residential ile ölçmek mümkündür; ama iki pazar arasındaki farkın ne kadarının ürün farkından geldiğini ayırmak zorlaşır.

Rotasyona yöneltilen en yaygın itiraz, her ölçümün başka bir IP’den gelmesinin sıralama verisini oynak hale getireceğidir. İtirazın haklı bir yanı var: aynı ülke içinde bile çıkış adresinin bulunduğu ağ, kişiselleştirme sinyalleri ve arama motorunun o anki deneyleri aynı sorguya küçük farklarla yanıt dönmesine yol açabilir. Ama bu farklar rotasyon olmasa da vardır. Sabit tek bir IP onları ortadan kaldırmaz, yalnız görünmez kılar; tek çıkıştan alınan ölçüm, o çıkışın gördüğü sonucu kesin değer gibi raporlar.

Rotasyonu gürültü kaynağı olarak değil, örnekleme aracı olarak kullanmak tabloyu tersine çevirir. Öncelikli bir kelimeyi gün içinde farklı çıkışlardan üç kez ölçerseniz elinizde bir nokta değil, bir dağılım olur. Üç örneğin medyanı rapordaki sıra olur; en iyi ve en kötü örnek arasındaki fark, yani yayılım, o kelimenin ölçümünün ne kadar güvenilir olduğunu gösterir. Yayılımı sıfır ya da bir olan bir kelimede iki sıralık düşüş anlamlı bir harekettir; yayılımı altı olan bir kelimede aynı düşüş büyük olasılıkla gürültüdür.

Rotating proxy hakkında yaygın bir yanlış inanç, IP değiştiği sürece istek hızının önemsiz olduğudur. Oysa hedef, gelen trafiği yalnız tek tek IP adresleri üzerinden değerlendirmek zorunda değildir; istek örüntüsüne, zamanlamaya ve toplam yüke de bakabilir. Rotasyon, hedefin size tanıdığı hızı büyütmez. Hata ve doğrulama sayfası oranını düşürmenin sürdürülebilir yolu, toplam yükü hedefin kabul ettiği düzeyde tutmak ve hata sinyali geldiğinde yavaşlamaktır.

Hız planının üç parçası vardır:

• Bütçe: Her pazar için saatlik en fazla istek sayısı ve günlük toplama penceresi. Bütçe, işin gerektirdiği hızdan değil, hedefin koşullarından ve gözlemlediğiniz hata oranından türetilir.
• Aralık: İki istek arasındaki bekleme bütçeden hesaplanır ve her seferinde küçük bir rastgele sapma eklenir; böylece pazarların istekleri aynı anlara yığılmaz, yük gün boyunca dengeli kalır.
• Tepki: 429 yanıtında Retry-After süresine uyulur, birim ertelenir ve o pazarın aralığı büyütülür. Doğrulama sayfası geldiğinde o pazarın kuyruğu o gün için kapanır. Hata alan istek başka bir IP’den hemen tekrarlanmaz.

Senaryo bölümündeki dört pazar için günlük yük ve 16 saatlik bir toplama penceresi varsayıldığında bütçe aşağıdaki gibi hesaplanır. Günlük istek sütunu, öncelikli setin (kelime × 3 örnek × 2 sayfa) ve üç günde bir ölçülen diğer kelimelerin günlük diliminin (üçte biri × 2 sayfa) toplamıdır.

Bu tablo bir kontrol aracıdır. Saatlik ihtiyaç, hedef için belirlediğiniz bütçeyi aşıyorsa yapılacak şey hızı artırmak değil, işi küçültmektir: derinliği azaltmak, öncelikli setteki kelime sayısını daraltmak ya da diğer kelimelerin ölçüm sıklığını seyreltmek. Pencereyi genişletmek de bir seçenektir; ama ölçümün günün çok farklı saatlerine yayılması gün içi değişimi veriye kattığı için raporda not edilmelidir. Haftalık mobil örneklem bu tabloya dahil değildir; çalıştığı gün pazar başına en fazla 264 istek (Türkiye: 120 kelime × 2 sayfa × 1,10) ek yük getirir ve o günün bütçesinde hesaba katılmalıdır.

Aşağıdaki iskelet önceki bölümlerdeki kararları bir araya getirir: her pazar için ayrı bir asenkron çalışan, pazar başına aralık üreten bir bütçe, hata oranına bakan bir devre kesici ve sorgu biriminin sayfalarını tek istemcide toplayan bir fonksiyon. HTTP istemcisi olarak httpx kullanılır; örnek, proxy parametresini destekleyen güncel httpx sürümleri için yazılmıştır ve SOCKS5 kullanacaksanız httpx’in SOCKS ekini ayrıca kurmanız gerekir. Hedef adres HEDEF_URL yer tutucusuyla bırakılmıştır; buraya kullanım koşullarının izin verdiği bir kaynağı ya da lisanslı bir veri sağlayıcısının uç noktasını koyarsınız. Ayrıştırma, doğrulama sayfası tespiti ve IP yankısı kaynağa özel olduğu için bu fonksiyonlar bilinçli olarak boş bırakılmıştır.

import asyncio
import os
import random
import time

import httpx

HEDEF_URL = "HEDEF_URL"  # izinli ölçüm kaynağı (yer tutucu)


class Butce:
    """Saatlik istek bütçesinden, sapmalı bir bekleme aralığı üretir."""

    def __init__(self, saatlik, derinlik, sapma=0.25):
        # Bütçe sorgu birimi başınadır: birim = derinlik kadar sayfa isteği.
        self.aralik = 3600 / (saatlik / derinlik)
        self.sapma = sapma
        self.sonraki = time.monotonic()

    async def sira_bekle(self):
        simdi = time.monotonic()
        if self.sonraki > simdi:
            await asyncio.sleep(self.sonraki - simdi)
        kat = random.uniform(1 - self.sapma, 1 + self.sapma)
        self.sonraki = max(simdi, self.sonraki) + self.aralik * kat

    def yavasla(self, kat):
        self.aralik *= kat


class DevreKesici:
    """Son N sonuçta hata oranı eşiği aşarsa açılır (değerler varsayımdır)."""

    def __init__(self, pencere=50, esik=0.10, mola_sn=1800, gunluk_hak=2):
        self.sonuclar = []
        self.pencere, self.esik = pencere, esik
        self.mola_sn, self.kalan_hak = mola_sn, gunluk_hak

    def kaydet(self, basarili):
        self.sonuclar = (self.sonuclar + [basarili])[-self.pencere:]

    def acilmali_mi(self):
        if len(self.sonuclar) < 10:
            return False
        return self.sonuclar.count(False) / len(self.sonuclar) > self.esik


def oturum_proxy_url(pazar, ornek_no):
    # Ortam değişkeni, panelden alınan KULLANICI, ŞİFRE, GATEWAY ve PORT
    # bilgileriyle kurulmuş proxy adresini tutar. Sticky oturumun nasıl
    # açıldığı ürüne göre değişir. Bu satır olduğu gibi bırakılırsa bütün
    # örnekler aynı oturumu paylaşır; ürünün oturum parametresiyle pazar,
    # kelime ve ornek_no değerlerine özgü bir oturum kimliği üretin.
    return os.environ[pazar["proxy_env"]]


async def cikis_bilgisi(istemci):
    # Kendi IP yankı servisinize aynı istemciyle hafif bir istek atıp
    # (ip, ulke_kodu) döndürün. Bu istek hedefe gitmez, bütçeye sayılmaz.
    raise NotImplementedError


def dogrulama_sayfasi_mi(html):
    # Kaynağa özel: doğrulama veya CAPTCHA sayfasını tanıyan kural.
    raise NotImplementedError


def sira_bul(sayfalar, alan):
    # Kaynağa özel: sayfaları sırayla ayrıştırın; alan yoksa None döndürün.
    raise NotImplementedError


async def sorgu_birimi(pazar, kelime, ornek_no, butce):
    """Bir kelimenin tek örneği; bütün sayfalar aynı istemciden gider."""
    sayfalar, bayt = [], 0
    await butce.sira_bekle()  # bütçe aralığı birimin başında, sayfalar arasında değil
    async with httpx.AsyncClient(
        proxy=oturum_proxy_url(pazar, ornek_no),
        timeout=httpx.Timeout(20.0, connect=8.0),
        headers={"Accept-Language": pazar["dil"]},
    ) as istemci:
        try:
            ip, ulke = await cikis_bilgisi(istemci)
        except httpx.HTTPError:
            return "ag_hatasi", None, None, bayt
        if ulke.upper() != pazar["cikis_ulkesi"].upper():
            return "ulke_uyusmazligi", None, ip, bayt
        for sayfa in range(pazar["derinlik_sayfa"]):
            if sayfa > 0:
                await asyncio.sleep(random.uniform(3, 6))  # sayfalar kısa aralıkla
            try:
                yanit = await istemci.get(HEDEF_URL, params={"q": kelime, "sayfa": sayfa})
            except httpx.HTTPError:
                return "ag_hatasi", None, ip, bayt
            bayt += yanit.num_bytes_downloaded
            if yanit.status_code == 429:
                deger = yanit.headers.get("Retry-After", "")
                await asyncio.sleep(int(deger) if deger.isdigit() else 120)
                butce.yavasla(1.5)
                return "ertelendi", None, ip, bayt
            if dogrulama_sayfasi_mi(yanit.text):
                return "dogrulama", None, ip, bayt
            if yanit.status_code != 200:
                return f"http_{yanit.status_code}", None, ip, bayt
            sayfalar.append(yanit.text)
    return "ok", sira_bul(sayfalar, pazar["izlenen_alan"]), ip, bayt


def is_sirasi(oncelikli, diger, ornek_sayisi):
    """Aynı kelimenin örneklerini ayrı geçişlere dağıtır."""
    diger = random.sample(diger, len(diger))
    sira = []
    for n in range(ornek_sayisi):
        gecis = [(k, n) for k in oncelikli]
        gecis += [(k, 0) for k in diger[n::ornek_sayisi]]
        random.shuffle(gecis)
        sira += gecis
    return sira


async def pazar_calisani(pazar, oncelikli, diger, kayit):
    await asyncio.sleep(random.uniform(0, 300))  # pazarlar aynı anda başlamasın
    butce, kesici = Butce(pazar["saatlik_istek"], pazar["derinlik_sayfa"]), DevreKesici()
    for kelime, ornek_no in is_sirasi(oncelikli, diger, pazar["oncelikli_ornek"]):
        durum, sira, ip, bayt = await sorgu_birimi(pazar, kelime, ornek_no, butce)
        kayit(pazar["kod"], kelime, ornek_no, durum, sira, ip, bayt)
        if durum == "dogrulama":
            kayit(pazar["kod"], "-", 0, "gun_kapandi", None, None, 0)
            return  # doğrulama sayfası: bu pazar bugün için kapanır
        kesici.kaydet(durum == "ok")
        if kesici.acilmali_mi():
            kesici.kalan_hak -= 1
            if kesici.kalan_hak == 0:
                kayit(pazar["kod"], "-", 0, "gun_kapandi", None, None, 0)
                return
            kesici.sonuclar.clear()
            butce.yavasla(2.0)
            await asyncio.sleep(kesici.mola_sn)


async def ana(profil, kelimeler):
    satirlar = []
    # varsayilan alanları her pazarın kaydına birleştir
    profiller = [{**profil["varsayilan"], **p} for p in profil["pazarlar"]]

    def kayit(*alanlar):
        satirlar.append((time.strftime("%Y-%m-%d %H:%M:%S"),) + alanlar)

    await asyncio.gather(*(
        pazar_calisani(p, kelimeler[p["kod"]]["oncelikli"],
                       kelimeler[p["kod"]]["diger"], kayit)
        for p in profiller
    ))
    return satirlar

İskelette dikkat edilmesi gereken üç ayrıntı var. Birincisi, sorgu biriminin bütün sayfaları aynı istemci nesnesinden gönderilir; oturum ürün tarafında sticky olarak açıldığında bu, sayfaların aynı çıkıştan gelmesini sağlar. İkincisi, 429 yanıtında istek tekrarlanmaz: birim “ertelendi” olarak kaydedilir, pazarın aralığı büyütülür ve ertelenen birimler bir sonraki çalıştırmada, günde en fazla bir kez olmak üzere yeniden kuyruğa alınır. Üçüncüsü, her satıra yanıtın aktarılan bayt sayısı yazılır.

Bu son sütun pilot haftasında varsayımla yapılan trafik hesabını gerçek veriyle değiştirmenizi sağlar. httpx’in saydığı değer sıkıştırılmış yanıt gövdesidir; başlıklar ve şifreleme yükü dahil değildir. Kotadan düşen trafik bu nedenle biraz daha yüksek çıkabilir. İki değeri birkaç gün yan yana izleyip bir düzeltme katsayısı belirlemek, paket hesabını sağlam bir zemine oturtur.

Bir B2B yazılım şirketinin pazarlama ekibini düşünelim. Ürün Türkiye, Almanya, İspanya ve Polonya’da satılıyor; ekip bu dört pazarda toplam 1.500 anahtar kelimenin masaüstü sıralamasını izlemek, öncelikli kelimelerde ise mobil sonuçlara haftalık bir göz atmak istiyor. Fiyatlar RotatingProxy kataloğundan alınmıştır; kelime sayıları, sıklıklar, sayfa derinliği, istek başına veri miktarı ve tekrar payı varsayımdır.

• Varsayım 1: Kelimeler pazarlara şöyle dağılır: Türkiye 600, Almanya 450, İspanya 270, Polonya 180. Her pazarda kelimelerin yüzde 20’si öncelikli settedir; toplam 300 kelime.
• Varsayım 2: Öncelikli set her gün üç örnekle ölçülür. Diğer 1.200 kelime üç günde bir, tek örnekle ölçülür; 30 günlük bir ayda bu 10 tur eder.
• Varsayım 3: Derinlik ilk 20 sonuçtur ve sorgu birimi başına 2 sayfa isteği gerekir.
• Varsayım 4: İstek başına aktarılan veri, sıkıştırma açık ve yalın bir HTTP istemcisiyle 150 KB’tır; tekrar ve ertelemeler için yüzde 10 pay eklenir. GB’a çevirirken 1.000.000 KB = 1 GB kabul edilmiştir.
• Varsayım 5: Mobil örneklem yalnız öncelikli 300 kelimeyi kapsar ve haftada bir, tek örnek ve 2 sayfa olarak ayda 4 tur çalışır.

Masaüstü toplama için Rotating IPv4 Residential seçilir: dört pazarın hepsi IPv4 ailesinde listelidir ve sticky oturum, sorgu birimi başına oturum kuralını uygulamaya izin verir. İspanya IPv6 Residential listesinde bulunmadığı için, dört pazarı tek ürünle ölçme ilkesi gereği IPv6 seçeneği bu senaryoda devre dışı kalır.

“Aylık eşdeğer” ifadesi bilinçli olarak seçildi. IPv4 paketleri tek seferliktir ve süre sınırı yoktur; gerçek harcama paket alımlarıyla gerçekleşir. Senaryoda 20 GB’lık Residential paket (24 USD) bu tüketimle yaklaşık 46 gün yeter (20 / 12,87 ≈ 1,55 ay). Mobil tarafta 2 GB’lık giriş paketi (4 USD), aylık 0,40 GB tüketimle yaklaşık beş ay dayanır; giriş paketinin koşulları sipariş adımında görünür.

Hesabın en öğretici satırı öncelikli settir. Üç örnekli ölçüm, 12,87 GB’ın 8,91 GB’ını tek başına oluşturur. Öncelikli seti tek örnekle ölçseydiniz masaüstü trafiği 6,93 GB’a, aylık eşdeğer maliyet de yaklaşık 8,32 USD’ye inerdi. Aradaki yaklaşık 7,13 USD, örnekleme ile satın aldığınız şeyin fiyatıdır: her öncelikli kelime için bir yayılım değeri ve tek bir uç ölçümün rapora yansımaması. Bu bedel 300 kelimenin iş değeri yanında küçükse örnekleme korunur; büyükse örnek sayısını düşürmek yerine öncelikli seti daraltmak, ölçüm güvenilirliğini korumanın daha iyi yoludur.

Aynı masaüstü hacmini Rotating IPv4 Datacenter ile toplamak birim fiyat açısından yarı maliyetlidir (12,87 × 0,60 ≈ 7,72 USD). Ancak bu karar fiyattan değil, hedefin datacenter kaynaklı trafiğe verdiği tepkiden alınmalıdır. Pratik bir yol, pilot haftasında tek bir pazarın öncelikli olmayan kelimelerini hem datacenter hem residential ile ölçüp geçerli ölçüm oranını ve sıralamaların uyumunu karşılaştırmaktır. Fark kabul edilebilir düzeydeyse öncelikli olmayan set datacenter’a taşınabilir; öncelikli set ise karşılaştırılabilirlik için tek üründe kalır.

Aşağıdaki sıra, hesaplanmış bir planı gerçek veriyle sınamak ve ancak ondan sonra ölçeklemek için tasarlandı. Her adımın çıktısı bir sonraki adımın girdisidir.

1. Pazar profillerini yazın: Her pazar için çıkış ülkesi, dil profili, cihaz, derinlik, ürün ve ortam değişkeni adını profil dosyasına girin. Profilde olmayan hiçbir ayar kodda sabit değer olarak durmamalıdır.
2. Küçük bir paketle başlayın: Pilot için giriş paketleri yeterlidir. 2 GB’lık Residential paketi (2,50 USD), senaryodaki 150 KB varsayımıyla yaklaşık 13.000 isteği karşılar.
3. Çıkışı sınayın: Her pazar için 20–30 hafif yankı isteği gönderin; gelen ülke kodlarını ve farklı IP sayısını kaydedin. Ülke uyuşmazlığı varsa ölçüme geçmeden yapılandırmayı düzeltin.
4. Oturum davranışını doğrulayın: Sticky açılmış bir istemciden art arda birkaç yankı isteği atıp IP’nin sabit kaldığını, yeni oturumda değiştiğini görün. Oturumun ne kadar süre korunduğunu panelde ve bu testte kontrol edin; sorgu biriminin süresi bundan kısa olmalıdır.
5. Bütçenin dörtte biriyle başlayın: İlk iki gün saatlik istek değerlerini planlanan bütçenin dörtte biri olarak ayarlayın ve yalnız öncelikli olmayan kelimelerden küçük bir dilimle çalışın.
6. Üç göstergeyi okuyun: Geçerli ölçüm oranı, doğrulama sayfası ve 429 sayısı, istek başına ortalama bayt. Doğrulama sayfası görüldüyse bütçeyi artırmayın, önce nedenini bulun.
7. Trafik varsayımını güncelleyin: Pilotta ölçülen istek başına baytı 150 KB varsayımının yerine koyup aylık hesabı yeniden yapın; kendi kaydınızı kota düşümüyle karşılaştırıp düzeltme katsayısını belirleyin.
8. Örneklemeyi açın: Öncelikli sette üç örneğe geçin ve ilk hafta yayılım dağılımına bakın. Yayılımı sürekli geniş olan kelimeleri ayrı bir listede not edin.
9. Bütçeyi kademeli büyütün: Hata oranı eşiğin altında kaldıkça saatlik değeri birkaç günde bir artırarak planlanan düzeye çıkın; her artıştan sonra en az bir tam tur gözlemleyin.
10. Paketi seçin: Ölçülen aylık tüketime göre paket boyutunu belirleyin. Birim fiyatın sabit olduğu aralıkta büyük paket yalnız daha uzun süre yeter, daha ucuza gelmez.

Beşinci ve dokuzuncu adımlar birlikte düşünülmelidir. Pilotun amacı, hedefin hangi yük düzeyinde sorunsuz yanıt verdiğini öğrenmektir ve bu bilgi en düşük yükten başlayıp yukarı çıkarak edinilir. Tersi, yani planlanan hızla başlayıp sorun çıkınca yavaşlamak, hem hedefi gereksiz yere yorar hem de pilot verisini doğrulama sayfalarıyla kirletir; ilk haftanın verisi bu durumda karşılaştırma için kullanılamaz.

Rotasyonlu bir toplama hattında sorunların önemli bir kısmı proxy bağlantısının kopmasından değil, rotasyonun yanlış birimde ya da yanlış hızda uygulanmasından doğar. Aşağıdaki tablo her sorun için kayıtta hangi alana bakmanız gerektiğini de gösterir; yukarıdaki iskeletin ürettiği satırlar bu teşhis için yeterlidir.

Sorun çıktığında ilk refleks daha fazla IP ya da daha sık rotasyon istemektir. Oysa tablodaki hataların hiçbiri bu yolla çözülmez; belirleyici olan, rotasyonun hangi birimde uygulandığı, yükün güne nasıl yayıldığı ve hata sinyallerine nasıl tepki verildiğidir. Teşhisi hızlandırmanın yolu da her satırda durum, pazar, örnek numarası, çıkış IP’si ve bayt alanlarının eksiksiz kaydedilmesidir.

SERP verisi toplamak meşru bir pazarlama ve analiz faaliyetidir, ama nasıl topladığınız önemlidir. Arama motorlarının ve diğer web sitelerinin kullanım koşulları otomatik sorguları kısıtlayabilir; robots.txt dosyaları hangi yolların otomatik erişime açık olduğunu belirtir. Koşullar kaynaktan kaynağa değişir ve zamanla güncellenir. Proxy, rotating olsun ya da olmasın, bu koşulların dışına çıkma izni vermez; yükümlülük isteği gönderen taraftadır. RotatingProxy hizmeti de yalnız yasal ve meşru amaçlar için kullanılabilir; ayrıntılar Kabul Edilebilir Kullanım sayfasında yer alır.

Toplamaya başlamadan önce üç soruyu yanıtlamak çoğu belirsizliği giderir. Birincisi, bu veriyi zaten resmi bir kanaldan alabiliyor musunuz? Kendi siteniz için gösterim ve ortalama konum verisi arama motorlarının web yöneticisi araçlarında vardır ve proxy gerektirmez; rakip görünürlüğü için resmi API’ler ya da lisanslı SERP veri sağlayıcıları değerlendirilebilir. İkincisi, kaynağın koşulları otomatik sorguya izin veriyor mu ve hangi hızda? Yanıt hayırsa hız planı ya da rotasyon bu durumu değiştirmez. Üçüncüsü, topladığınız alanlarda kişisel veri var mı?

Son soru sanıldığından sık atlanır. SERP takibinde ihtiyaç duyduğunuz alanlar anahtar kelime, pazar, sıra, URL, sonuç türü ve ölçüm meta verisidir. Sonuç parçacıklarında görünebilecek kişi adları, kullanıcı yorumları ya da iletişim bilgileri bu amaç için gerekli değildir. KVKK ve benzeri düzenlemelerin ortak ilkesi olan amaçla sınırlılık ve veri en aza indirme, ayrıştırıcının yalnız gereken alanları saklamasını gerektirir. Ham HTML’yi hata ayıklama için saklıyorsanız saklama süresini kısa tutun ve süre dolunca silin.

Toplama hattı kurulduktan sonra sorunlar genellikle sessizce birikir. Aşağıdaki listeyi haftada bir, raporu paylaşmadan önce gözden geçirin. Her madde, bu sayfada anlatılan hata türlerinden birinin erken belirtisini yakalar.

• Her pazarın bütün turları beklenen çıkış ülkesinden toplandı; ulke_uyusmazligi satırı yok ya da nedeni biliniyor.
• Doğrulama sayfası nedeniyle kapanan pazar günleri sayıldı; aynı pazarda tekrarlıyorsa o pazarın bütçesi düşürüldü.
• 429 ve erteleme sayıları geçen haftayla karşılaştırıldı; artış varsa nedeni (yeni kelimeler, derinlik artışı, saat yığılması) bulundu.
• Öncelikli sette geçerli örnek sayısı ikinin altına düşen kelime-gün oranı kontrol edildi.
• Farklı IP sayısı geçerli örnek sayısından düşük kalan kelimeler işaretlendi.
• Yayılımı sürekli geniş olan kelimeler listelendi ve raporda bu kelimeler için tek değer yerine aralık gösteriliyor.
• Haftalık toplam bayt, plandaki trafik hesabıyla ve kota düşümüyle karşılaştırıldı; sapma belirlediğiniz eşiği, örneğin yüzde 20’yi aşıyorsa hesap güncellendi.
• Kalan kotanın mevcut tüketim hızıyla kaç gün yeteceği hesaplanıp not edildi.
• Profil dosyasındaki her değişiklik tarihiyle birlikte değişiklik günlüğüne işlendi; ürünü ya da ülkesi değişen pazarlarda yeni seri başlatıldı.
• Ayrıştırıcının kaydettiği alanlar gözden geçirildi; kişisel veri içeren alan yok, ham HTML saklama süresi aşılmadı.
• Ölçüm kaynağının kullanım koşullarında ve robots.txt dosyasında değişiklik olup olmadığına bakıldı.

Liste kısa görünse de rotasyonlu SERP toplamanın asıl işini özetler: rotasyonu doğru birimde uygulamak, ülkeyi her birimde doğrulamak, gürültüyü örneklemeyle ölçmek ve hızı hedefin sınırına göre ayarlamak. Bu dört alışkanlık yerleştiğinde IP havuzu bir engel atlatma aracı değil, sıralama verinize güvenle dayanabileceğiniz bir ölçüm altyapısı olur.