Rotasyon Aralığı Nasıl Seçilir? Her İstekte mi, Süreli mi?

Rotasyon aralığı, rotating proxy’nin çıkış IP’sini ne sıklıkla değiştirdiğini belirleyen kuraldır. Üç biçimi vardır: her istekte yeni IP, belirli bir süre boyunca aynı IP ve siz oturum kimliğini değiştirene kadar aynı IP. Doğru aralık ürün sayfasında yazmaz; iş akışınızın kaç adımda tamamlandığına, hedef sitenin bir ziyaretçiyi ne kadar süre hatırladığına ve hız sınırını hangi pencerede saydığına göre hesaplanır.

Aynı havuzla iki farklı iş iki farklı aralık ister. Bağımsız ürün sayfalarını okuyan bir fiyat toplayıcısı her istekte IP değiştirdiğinde en temiz sonucu alır; aynı sitede filtre uygulayıp beş sayfa ilerleyen bir toplayıcı ise o beş sayfa boyunca aynı IP’de kalmak zorundadır, yoksa hedef sayfalandırmayı sıfırlar. Aşağıdaki yöntem aralığı iş akışının kendi sürelerinden ölçerek bulur; mod adlarından yola çıkmaz.

Birinci saat iş akışının süresidir: bir birim işin ilk isteğinden son isteğine kadar geçen zaman. Tek sayfalık okuma için bu süre bir saniyenin altındadır; giriş, arama, filtre ve üç sayfa sonuç gibi bir akışta on beş ile kırk saniye arasına çıkar. Rotasyon aralığı bu süreden kısa olamaz; aksi halde akış ortasında IP değişir ve hedef, oturumu ikinci bir ziyaretçiye ait sayar.

İkinci saat hedefin oturum belleğidir. Çoğu site bir ziyaretçiyi çerezle tanır, ama çerezin yanında IP’yi de kaydeder; IP aniden başka bir ülkeye atlarsa oturumu düşürür ya da doğrulama ister. Bu bellek sitenin oturum zaman aşımıyla sınırlıdır ve çoğu zaman dakikalar mertebesindedir. Aralık bu sürenin üstüne çıktığında aynı IP’de kalmanın getirisi biter; hedef zaten oturumu unutmuştur.

Üçüncü saat hız sınırı penceresidir. Hedef, isteği IP başına dakikada ya da saatte sayıyorsa, aynı IP’de pencereden uzun kalmak sınırı doldurur. Bu pencere 429 yanıtının Retry-After başlığından ya da deneyle bulunur; ayrıntısı 429 rehberinde var. Üç saat yan yana konduğunda aralığın sınırları belli olur: akış süresinden uzun, oturum belleğinden ve hız sınırı penceresinden kısa.

Bağımsız sayfalar: Her istek tek başına anlamlıdır, önceki istekle ilişkisi yoktur. Ürün fiyatı, arama sonucu sayfası ve kategori listesi bu sınıfa girer. Aralık sıfırdır, yani her istekte yeni IP. Burada aynı IP’de kalmak yalnız hız sınırını erken doldurur; hiçbir kazanç sağlamaz.

Sayfalandırma: Aynı sorgunun ikinci, üçüncü sayfası ilk sayfanın oturumuna bağlıdır. Çoğu sitede sayfalandırma URL parametresiyle yürür ve IP değişikliği sorun çıkarmaz, ama sonsuz kaydırma ya da imleç tabanlı listelerde sunucu, imleci oturuma bağlar. Aralık, bir sorgunun tüm sayfalarını kapsayacak kadar uzun tutulur: on sayfa ve sayfa başına iki saniye bekleme varsa en az yarım dakika.

Çok adımlı akış: Form doldurma, filtre uygulama, sepete bakma gibi adımlar birbirini izler ve her adım bir öncekinin sonucuna bağlıdır. Aralık akışın tamamını kapsar; akış bitince oturum kimliği değiştirilir ve yeni IP alınır. Buradaki pratik kural akış süresinin iki katını hedeflemektir, çünkü yeniden denemeler ve bekleme süreleri akışı uzatır.

Hesap oturumu: Giriş yapılmış bir hesabın sayfalarında gezinen toplayıcıda IP, oturum açık kaldığı sürece sabit kalmalıdır. Bu süre dakikalardan saatlere uzayabilir ve rotating proxy’nin sınırına yaklaşır; hedef hesap başına günlerce aynı IP bekliyorsa doğru araç rotating değil static proxy’dir. Bu ayrımı rotating ve static proxy karar rehberinde işledik.

Birinci adım: Bir birim işi uçtan uca çalıştırıp süresini kaydedin. On kez tekrarlayın ve en uzun değeri alın; ortalama değil, çünkü aralık en kötü akışı da kapsamalıdır. Bu sayı alt sınırınızdır.

İkinci adım: Aynı IP’de kalarak bir hedefe sabit hızda istek gönderin ve ilk 429 ya da doğrulama sayfasının kaçıncı istekte geldiğini not edin. Bu istek sayısını hızınıza bölün; çıkan süre hedefin o IP için tolerans penceresidir ve üst sınırınızı verir. Rotating proxy’nin kendi 407 ya da bağlantı hatalarını bu sayıma katmayın; onlar hedefin değil proxy katmanının sinyalidir ve bağlantı sorunları rehberinde ayrıca ele alınır.

Üçüncü adım: Alt ve üst sınır arasında kalan üç değer seçin, örneğin alt sınırın bir, iki ve dört katı. Her değerle aynı işi aynı hacimde çalıştırın. Her koşu için başarı oranı, akış ortasında düşen oturum sayısı ve istek başına harcanan GB kaydedilsin.

Dördüncü adım: Başarı oranı aynı kalırken en kısa aralığı seçin. Kısa aralık, bir IP engellendiğinde kaybedilen işi küçültür ve havuzun geneline yayılan yükü düzleştirir; uzun aralık yalnız oturum sürekliliği gerektiğinde değerlidir.

Beşinci adım: Seçtiğiniz aralığı haftada bir aynı deneyle doğrulayın. Hedef siteler hız sınırı penceresini ve oturum kurallarını duyurmadan değiştirir; iki hafta önce doğru olan aralık bugün akış ortasında doğrulama sayfası üretiyor olabilir.

Aralık gereğinden kısaysa ilk işaret akış ortasında gelen “oturum süresi doldu” ya da “tekrar giriş yapın” sayfalarıdır. Loglarda bunun imzası şudur: aynı birim işin ilk adımları başarılı, son adımları 302 yönlendirmesi ya da giriş sayfasıyla bitiyor. İkinci işaret sayfalandırmada aynı kayıtların tekrar gelmesidir; sunucu imleci yeni IP için sıfırlamış ve listeyi baştan vermiştir.

Üçüncü işaret kota tüketimidir. Her IP değişimi yeni bir TLS el sıkışması ve çoğu zaman yeni bir çerez kabulü demektir; sayfa gövdesi küçükken bu ek yük istek başına maliyeti belirgin biçimde artırır. GB bazlı paketlerde bu fark aylık faturada görünür. Kota planlamasını GB bazlı paket seçimi rehberinde hesapladık; o rehberdeki ölçüme aralık başına GB değerini de eklemek maliyeti gözle görünür kılar.

Aralık gereğinden uzunsa belirtiler tersine döner. Aynı IP’den çok istek gittiği için 429 yanıtları artar ve bir süre sonra 403 ya da doğrulama sayfası gelir. Loglarda imza, hatanın belirli bir oturum kimliğinde yoğunlaşması ve oturum değişince kaybolmasıdır. Bu durumda yeniden deneme politikasının IP’yi değiştirmesi beklenir; aynı oturumda ısrar eden bir politika hatayı büyütür. Hangi hatada oturumun korunup hangisinde değiştirileceğini retry ve backoff rehberinde tablo halinde verdik.

İkinci belirti engelin kapsamıdır. Uzun aralıkta tek bir IP binlerce isteği taşır; o IP işaretlendiğinde onun üstünden geçen tüm iş birden düşer. Kısa aralıkta aynı engel yalnız birkaç isteği etkiler. Bu yüzden oturum sürekliliği gerektirmeyen her işte aralığı olabildiğince kısa tutmak, engel riskini küçük parçalara böler.

Dört ürün aralığı farklı yönetir ve seçim iş tipine göre yapılır. IPv4 datacenter ürünü istek başına ya da oturum bazlı rotasyonla çalışır; bağımsız sayfalar için istek başına mod, sayfalandırma için oturum bazlı mod kullanılır. IPv4 residential ve mobile ürünlerde sticky ve rotating oturum seçenekleri bir arada sunulur: bir oturum kimliği tanımlandığında IP o kimlik boyunca sabit kalır, kimlik değiştirildiğinde yeni IP atanır. Çok adımlı akışlarda akış başına bir oturum kimliği üretip akış bitince kimliği değiştirmek, aralığı akış süresine tam olarak eşitler.

IPv6 datacenter ve IPv6 residential ürünlerde rotasyon port bazında yapılandırılır. Aynı hesapta bir port kısa aralıkla liste toplarken başka bir port sabit kalıp ürün sayfalarını okuyabilir; iki farklı iş tipini tek paket içinde iki aralıkla çalıştırmak bu modelde mümkündür. Hangi ürünün hangi rotasyon modunu sunduğunu rotating proxy nedir rehberindeki mod karşılaştırmasında bulabilirsiniz.

Oturum kimliğini kodda yönetmenin en güvenli yolu, kimliği birim işe bağlamaktır: işin başında üretilir, işin tüm istekleri aynı kimliği kullanır, iş bitince ya da IP kaynaklı bir hata gelince atılır. Kimliği zamana bağlamak, örneğin her beş dakikada bir değiştirmek, akışın tam ortasında IP değişmesine yol açar; zaman tabanlı aralık yalnız akışsız işlerde kullanılır.

İşiniz tek istekte bitiyorsa her istekte yeni IP; sayfalandırılmış bir sorguysa sorgunun tüm sayfalarını kapsayan oturum; çok adımlı bir akışsa akış süresinin iki katı kadar süren ve akış bitince kapanan oturum; açık bir hesapta saatlerce gezinmekse static proxy. Her durumda aralık hedefin oturum belleğinden ve hız sınırı penceresinden kısa kalır.

Son kontrol üç soruyla yapılır. Akış ortasında oturum düşüyor mu? Düşüyorsa aralık kısa. Aynı oturum kimliğinde 429 ve 403 birikiyor mu? Birikiyorsa aralık uzun. İstek başına GB beklenenden yüksek mi? Yüksekse ya aralık gereksiz kısa ya da yeniden denemeler aynı oturumda ısrar ediyor. Üç cevap da olumsuzsa aralık doğru yerdedir; haftalık deneyle yerinde kaldığını doğrulamak yeter.