Kota Bazlı Rotating Proxy Nasıl Seçilir?

Kota bazlı rotating proxy seçimi iki ölçüden birine dayanır: aktarılan veri (GB) ya da aynı anda açık tutulabilen kanal sayısı (port). RotatingProxy kataloğunda IPv4 datacenter, IPv4 residential ve mobile ürünler GB ile satılır ve süre sınırı yoktur; IPv6 datacenter ve IPv6 residential ürünler ise port başına aylık ücretlendirilir. Doğru paketi seçmek için önce işinizin hangi ölçüyle büyüdüğünü bulmanız gerekir: trafik hacmi mi artıyor, yoksa aynı anda çalışan iş parçacığı sayısı mı?

GB modeli, istek sayısı ve sayfa boyutu belli olan toplu işlerde öngörülebilir kalır. Port modeli ise sürekli açık, yüksek eşzamanlılık isteyen ve ay boyunca durmadan çalışan işlerde daha kolay hesaplanır; aktarılan veri ne olursa olsun aylık tutar sabittir. İki modelin ortak noktası rotasyondur: her ikisinde de çıkış IP’si istek başına ya da oturum bazlı değişir, farklı olan yalnız faturalama birimidir.

GB kotası üç çarpanın sonucudur: günlük istek sayısı, isteğin ortalama yanıt boyutu ve yeniden deneme payı. Yanıt boyutu derken sıkıştırılmış gövdeyi değil, proxy üzerinden geçen toplam baytı sayın; HTTP başlıkları, yönlendirmeler ve TLS el sıkışması da kotadan düşer. Tarayıcı tabanlı bir araç kullanıyorsanız sayfanın HTML’i yanında görseller, yazı tipleri, CSS ve JavaScript dosyaları da aynı proxy’den iner; bu yüzden Playwright ile toplanan bir sayfa, requests ile alınan aynı sayfadan kat kat daha fazla GB tüketir.

Örnek bir hesap kuralım; sayılar varsayımdır, kendi ölçümünüzle değiştirin. Bir e-ticaret sitesinde ürün sayfasının sıkıştırılmış HTML’i 150 KB olsun ve günde 20.000 ürün sayfası çekilsin. 20.000 × 150 KB yaklaşık 3 GB eder; 30 günde 90 GB. Üzerine yeniden deneme ve başlık yükü için %20 koyarsanız aylık ihtiyaç 108 GB’a çıkar. Bu rakam, kataloğun 100 GB paketini tek başına aşar; süre sınırı olmadığı için 100 GB paketle başlayıp bitince 20 GB eklemek ya da doğrudan 200 GB almak iki ayrı yoldur. Hangisinin uygun olduğu, bir sonraki ayın trafiğini bilip bilmediğinize bağlıdır.

Yanıt boyutunu tahmin etmek yerine ölçün. requests ile çalışıyorsanız len(response.content) değerini ve response.request.headers uzunluğunu loglayın; birkaç yüz isteğin ortalaması gerçek sayıyı verir. Playwright’ta ise sayfa başına aktarılan baytı tarayıcının ağ olaylarından ya da proxy panelindeki kullanım sayacından okuyun. Aynı hedefte HTML çekmek ile tam sayfa render etmek arasındaki fark, hangi paketi alacağınızı değiştirecek kadar büyüktür.

IPv6 rotating ürünlerinde kota, port sayısıdır. Kataloğun IPv6 datacenter ve IPv6 residential paketleri 1, 5 ve 10 port olarak sunulur ve aylık faturalanır. Bir port, aynı anda kullanılabilen bağımsız bir proxy uç noktasıdır; rotasyon oturum yapılandırmasına göre o port üzerinde döner. Burada sayılması gereken, aynı anda kaç ayrı iş akışının proxy’ye bağlanacağıdır; günlük istek sayısı bu modelde ikinci plandadır.

Eşzamanlılığı istemci tarafındaki ayarlardan okuyun. Scrapy’de CONCURRENT_REQUESTS, httpx ve aiohttp’de bağlantı havuzunun büyüklüğü, Playwright’ta aynı anda açık tarayıcı bağlamı sayısı size kaç kanal gerektiğini söyler. Beş worker’lık bir toplayıcı için tek port yeterli olabilir, ama her worker’a ayrı çıkış kimliği vermek istiyorsanız beş port gerekir. Port modelinin avantajı, aktarılan veri arttıkça ücretin değişmemesidir; dezavantajı ise işin ayın büyük bölümünde boşta kalması durumunda kullanılmayan kapasiteye ödeme yapmanızdır.

Birinci soru: Trafik aylar arasında ne kadar dalgalanıyor? Kampanya dönemlerinde beş kat artıp sonra düşen bir işte GB modeli yalnız kullandığınız kadar ödetir; süre sınırı olmadığı için sakin ayda kalan kota kaybolmaz. Sabit ritimde, her gün aynı hacimde çalışan işte port modelinin aylık tutarı daha kolay bütçelenir.

İkinci soru: Hedef siteler IPv6 kabul ediyor mu? Port modeli bu katalogda yalnız IPv6 ürünlerinde vardır. Hedefin IPv6 üzerinden erişilebilir olmadığı bir işte port modeli seçeneği zaten yoktur; bu durumda GB tabanlı IPv4 datacenter, IPv4 residential ya da mobile ürünlerden biri kalır. IPv4 ile IPv6 arasındaki uyumluluk farkını ayrı bir rehberde anlattık.

Üçüncü soru: Yanıtlar büyük mü? Görsel ağırlıklı sayfalar, PDF indirme ya da tam sayfa render gibi işlerde GB hızla erir; eşzamanlılık düşük olsa bile aylık veri yüksektir. Böyle işlerde port modeli, hedef IPv6 destekliyorsa, veri miktarından bağımsız sabit maliyet sağlar. Dördüncü soru: Oturum sürekliliği gerekiyor mu? Giriş yapılmış oturumlar ya da çok adımlı akışlar için sticky oturum gerekir; IPv4 residential ve mobile ürünler sticky ve rotating oturum seçeneği sunar, IPv6 ürünlerde oturum yapılandırması port üzerinde yapılır.

GB paketleri katalogda 2, 10, 20, 50, 100, 200, 500 ve 1000 GB kademelerinde satılır. Birim fiyat büyük pakette düşer; örneğin IPv4 datacenter ürününde 10 GB paket GB başına 0,60 USD’ye, 1000 GB paket 0,50 USD’ye denk gelir. Residential ve mobile ürünlerde kademe aynıdır, birim fiyat farklıdır; güncel rakamlar ürün sayfalarındadır. Büyük paketin birim avantajı yalnız o kotayı gerçekten tüketecekseniz anlamlıdır; süre sınırı olmadığı için küçük paketle başlayıp ölçüm sonrası büyütmek çoğu yeni işte daha az risklidir.

Büyüme payını somut bir senaryoyla koyun. Önümüzdeki ay hedef site sayısını ikiye çıkaracaksanız kota da ikiye katlanır; yalnız mevcut işi sürdürecekseniz %20 tampon yeter. Tahmini aylık kotanın altında kalan en yakın paketi alıp bitmeden önce ek paket eklemek, kotanın üstünde kalan paketi alıp ay sonunda boş bırakmaktan daha ucuza çıkar. Yeni hesaplardaki 2 GB başlangıç paketi tam olarak bu ölçüm turu içindir: birkaç bin istek atın, panel sayacını okuyun, sonra gerçek paketi seçin.

Sınırsız yeniden deneme: 429 ya da 5xx alan istek beş kez tekrarlanırsa aynı sayfa için beş kat GB ödersiniz. Yeniden deneme sayısını üçle sınırlayın ve denemeler arasına artan bekleme koyun; rotasyonlu proxy’de her deneme zaten yeni IP’den çıkar, bekleme süresi hedefin hız sınırına tekrar takılmanızı önler.

Gereksiz kaynak indirme: Playwright ya da Puppeteer ile yalnız HTML’e ihtiyacınız varken görsel, yazı tipi ve izleme betikleri de proxy’den iner. Sayfa rotalarında image, font ve media türlerini iptal etmek aynı sayfanın maliyetini belirgin biçimde düşürür. Tam render gerekmeyen hedeflerde tarayıcıdan requests ya da httpx’e geçmek en büyük tasarrufu sağlar.

Sıkıştırmayı kapatmak: Accept-Encoding başlığını kaldıran ya da gzip’i açmayan istemciler düz HTML taşır. Çoğu HTTP kütüphanesi sıkıştırmayı varsayılan olarak ister; özel başlık seti kurarken bu satırı silmediğinizden emin olun.

Ölçmeden ölçeklemek: Günlük hedef sayısını artırırken kota hesabını güncellemeyen ekipler ay ortasında paketi bitirir. İstemci tarafında aktarılan baytı günlük toplam olarak loglayın ve panel sayacıyla haftada bir karşılaştırın; ikisi arasındaki fark başlık ve bağlantı yükünü gösterir.

Her isteği aynı pakete yüklemek: Hedeflerin bir kısmı datacenter IP’siyle sorunsuz açılırken, korumalı birkaç site residential ister. Bütün trafiği birim fiyatı yüksek residential paketten geçirmek yerine hedef listesini ikiye ayırın; ucuz hedefler datacenter paketinden, zor hedefler residential paketinden çıksın. Hangi hedefin hangi IP türünü istediğini küçük bir test turuyla görürsünüz.