Web Scraping İçin Rotating Proxy Rehberi

Web scraping için rotating proxy, aynı hedef siteye kısa sürede yüzlerce istek gönderen ve tek IP’den bu yükü kaldıramayan işlerde gerekir. Günde birkaç yüz sayfa çeken bir betik çoğu zaman kendi IP’siyle ya da tek bir static proxy ile idare eder. Saatte binlerce sayfa, birden fazla ülkeden görünüm ya da hedefin istek sayısına göre hız sınırı uygulaması söz konusuysa rotasyon devreye girer.

Kararı belirleyen üç ölçü vardır: toplam sayfa sayısı, bu sayfaların kaç saat içinde çekileceği ve hedefin bir IP’ye ne kadar istek hakkı tanıdığı. İlk ikisi size aittir ve kolay hesaplanır. Üçüncüsü hedef siteye göre değişir ve çoğu zaman deneme ile bulunur: aynı IP’den istek aralığını kısalttıkça hangi noktada 429 ya da boş sayfa dönmeye başladığını ölçersiniz.

RotatingProxy kataloğundaki rotating ürünlerin tamamı HTTP, HTTPS ve SOCKS5 kabul eder ve GB bazlı, süre sınırı olmayan paketlerle satılır. Bu yüzden scraping planında çekeceğiniz veri hacmi hesaplanır; ay sonu dolacak bir port kotası yoktur. Kod tarafındaki requests ve httpx örnekleri Python ile rotating proxy rehberinde anlatılıyor.

Herkese açık, koruması düşük hedefler (kamu kurumu listeleri, ürün katalogları, haber arşivleri, API benzeri JSON uçları): Rotating IPv4 Datacenter. İstek başına rotasyon, yüksek eşzamanlılık, GB başına en düşük maliyet. Engellenme görürseniz önce istek hızını düşürün, ürünü değiştirmeyin.

Orta koruma (bot yönetimi olan e-ticaret siteleri, ilan platformları, fiyat karşılaştırma sayfaları): Datacenter ile başlayın, engellenme oranı yükselince aynı kodla Rotating IPv4 Residential’a geçin. Kataloğdaki iki ürün de aynı protokolleri kabul ettiği için geçiş yalnızca proxy URL’sini değiştirmekten ibarettir.

Yüksek koruma (oturum isteyen, tarayıcı parmak izi ve davranış analizi yapan hedefler): Rotating IPv4 Residential ile sticky oturum. Sayfa akışı boyunca aynı IP’de kalın, oturum bitince yeni IP alın. Bu hedeflerde istek başına rotasyon ters etki yapar, çünkü her sayfa farklı IP’den gelince oturum çerezi ile IP eşleşmez.

Ülkeye göre farklı içerik gösteren hedefler (yerel fiyat, stok, dil): Ülke seçimi gateway parametresiyle yapılır; kataloğdaki rotating ürünler 180’den fazla ülkeyi kapsar. Hedef ülkeyi istek bazında değiştirebileceğiniz için her pazar için ayrı hat kurmanız gerekmez.

Tabloda olmayan bir durum: hedef sadece belirli bir ASN’i engelliyorsa (datacenter aralıklarının tamamını reddetmek gibi) ürün değişikliği şarttır; hız ayarıyla çözülmez. Bunu anlamanın en kısa yolu, aynı isteği önce datacenter sonra residential çıkışla bir kez göndermektir.

İyi çalışan bir scraping hattı dört ayrı katmandan oluşur ve rotating proxy bunlardan yalnızca birini çözer. Birinci katman istek üretimi: hangi URL’ler, hangi sırayla, hangi başlıklarla. İkinci katman çıkış yönetimi: IP rotasyonu, ülke seçimi, sticky oturum süresi. Üçüncü katman yeniden deneme: hangi hata kodunda kaç kez, ne kadar bekleyerek. Dördüncü katman kayıt: ham sayfa, ayrıştırılmış veri ve istek günlüğü.

Katmanları ayırmanın pratik faydası hata ayıklamada görülür. 407 alıyorsanız sorun çıkış katmanındadır (kimlik bilgisi ya da URL biçimi). 429 ve 403 alıyorsanız istek üretimi ile çıkış yönetimi birlikte ele alınır: ya aynı IP’den çok hızlı gidiyorsunuz ya da hedef IP türünü reddediyor. Boş sayfa ya da beklenmeyen HTML geliyorsa sorun büyük ihtimalle ayrıştırıcıdadır ve proxy ile ilgisi yoktur.

Yeniden deneme katmanında en sık yapılan hata, her hatada anında ve aynı IP’den tekrar denemektir. Rotating proxy ile doğru yaklaşım tersidir: 429 ya da 403 gelince isteği kısa bir bekleme sonrasında tekrar gönderirsiniz; gateway zaten yeni bir çıkış IP’si verir. Sticky oturumdaysanız oturum kimliğini değiştirerek IP’yi bilinçli olarak yenilersiniz. Yeniden deneme sayısını üstten sınırlayın; üç denemede geçmeyen sayfayı kuyruğa geri koyup daha sonra, farklı bir saatte tekrar deneyin.

Kayıt katmanında ham HTML’yi saklamak kota açısından pahalı görünür ama ayrıştırıcı değiştiğinde aynı sayfaları yeniden çekmekten kurtarır. Çektiğiniz her sayfa GB kotasından düşer, diskteki kopyayı yeniden okumak ise kotaya dokunmaz.

Varsayımlar: hedefte 50.000 ürün sayfası var, bir sayfanın HTML’si gzip sonrası ortalama 300 KB, görsel ve betik dosyaları indirilmiyor (yalnızca HTML isteniyor), istek başlıkları ve TLS el sıkışması ihmal ediliyor. Bu durumda tek geçiş 50.000 × 300 KB = 15.000.000 KB, yani yaklaşık 14,3 GB eder.

Yeniden denemeleri eklemek gerekir. Orta korumalı bir hedefte isteklerin yüzde onunun bir kez tekrarlandığını varsayarsak 5.000 ek istek, yani 1,4 GB daha. Toplam yaklaşık 15,7 GB. Bu hacim kataloğdaki 20 GB paketine sığar; Rotating IPv4 Datacenter’da 20 GB paketi 12 USD, Rotating IPv4 Residential’da 24 USD olarak listeleniyor. Aynı iş günlük tekrarlanacaksa aylık hacim 30 ile çarpılır ve 500 ya da 1000 GB paketlerine bakılır.

Hesabı küçültmenin iki yolu var. Birincisi, yalnızca değişen sayfaları çekmek: ürün listesi sayfasından fiyat ve stok alınabiliyorsa detay sayfasına hiç gitmeyin. İkincisi, hedef destekliyorsa koşullu istekler (If-Modified-Since, ETag) göndermek; değişmeyen sayfa için 304 döner ve gövde indirilmez. Her iki yöntem de ürün değişikliği gerektirmez, yalnızca istek üretimi katmanını düzenler.

Görsel çekmek hesabı tamamen değiştirir. Ürün başına 400 KB’lık tek bir görsel bile toplamı ikiye katlar. Görsel gerekiyorsa görselleri ayrı bir kuyrukta, daha düşük eşzamanlılıkla ve mümkünse CDN adresinden doğrudan çekin; bu adresler çoğu zaman proxy gerektirmez.

Belirti 1: 429 Too Many Requests, aynı IP’den art arda. Neden: hedefin IP başına hız sınırı. Değişiklik: istek başına rotasyonu açın ve eşzamanlılığı düşürün. Ürün aynı kalır.

Belirti 2: 403 Forbidden, her IP’de, ilk istekten itibaren. Neden: hedef IP türünü (datacenter ASN’leri) tümden reddediyor. Değişiklik: Residential’a geçin. Hız ayarının etkisi olmaz.

Belirti 3: 200 dönüyor ama sayfa boş ya da doğrulama sayfası geliyor. Neden: hedef tarayıcı doğrulaması ya da JavaScript ile içerik yüklüyor. Değişiklik: sticky oturum, gerçek tarayıcı başlıkları ve gerekiyorsa başsız tarayıcı. Proxy tek başına bunu çözmez.

Belirti 4: Oturum içinde çıkış yapılıyor, sepet boşalıyor, sayfalama sıfırlanıyor. Neden: oturum çerezi IP ile eşleşmiyor, çünkü her istek farklı IP’den gidiyor. Değişiklik: sticky oturum süresini akışın uzunluğuna göre ayarlayın; akış on dakika sürüyorsa oturum süresi en az on dakika olmalı.

Belirti 5: Bazı ülkelerden içerik gelmiyor ya da yanlış dilde geliyor. Neden: ülke parametresi istek bazında ayarlanmamış, gateway varsayılan havuzu kullanıyor. Değişiklik: kullanıcı adına ülke kodunu ekleyin; ülke seçimi için rotating proxy’de ülke ve lokasyon rehberine bakın.

Belirtileri ayırt etmenin en ucuz yolu istek günlüğüdür: her istek için zaman, çıkış IP’si (gateway döndürüyorsa), durum kodu ve yanıt boyutu kaydedilirse engellenmenin IP mi, hız mı, oturum mu kaynaklı olduğu birkaç yüz satırdan okunur.

Rotating proxy’nin işi meşru veri toplamayı güvenilir ve hızlı hale getirmektir; hedef sitenin kurallarını aşmak için kullanılmaz. Başlamadan önce robots.txt dosyasını okuyun; Disallow ile işaretlenmiş yolları çekmeyin. Sitenin kullanım koşullarında otomatik erişim yasağı varsa ya izin alın ya da o hedeften vazgeçin.

Kişisel veri içeren sayfalar (profil, iletişim bilgisi, yorum yazarı) KVKK ve GDPR kapsamına girer. Bu tür veriyi toplamak için meşru bir amaç ve hukuki dayanak gerekir; bulunmuyorsa ayrıştırıcıda bu alanları hiç kaydetmeyin. Yalnızca kamuya açık ve erişim hakkınız olan içeriği toplayın.

Hedef sunucuya makul bir yük bindirin. Eşzamanlılığı hedefin büyüklüğüne göre seçin, yoğun saatlerden kaçının ve bir sayfayı gereksiz yere tekrar çekmeyin. Bu ilkeler kotaya da yarar, çünkü gönderilmeyen her gereksiz istek harcanmayan GB demektir.

Scraping için datacenter mı residential mı? Koruması düşük hedeflerde datacenter yeterli ve GB başına daha ucuz. 403 her IP’de ilk istekten geliyorsa residential gerekir. Aynı kodla her iki ürünü de deneyebilirsiniz.

İstek başına rotasyon mu, sticky oturum mu? Bağımsız sayfalarda (ürün detayları, ilanlar) istek başına rotasyon. Oturum gerektiren akışlarda (giriş, sayfalama, filtre) sticky oturum.

Kota bittiğinde ne olur? GB bazlı paketler süreyle değil hacimle biter; kota dolunca istekler reddedilir ve yeni paket eklenince kaldığı yerden devam eder. Kota planlaması için kota bazlı rotating proxy seçimi rehberine bakın.

Eşzamanlı bağlantı sınırı var mı? Kataloğdaki ürünlerde kota GB üzerinden hesaplanır; eşzamanlılığı belirleyen esas sınır hedef sitenin toleransıdır. Düşük eşzamanlılıkla başlayıp hata oranını izleyerek artırın.

HTML dışında dosya çekmek kotadan düşer mi? Evet. Proxy üzerinden geçen her bayt kotadan düşer; görsel, PDF ve betik dosyaları da dahil. Bu yüzden yalnızca gereken kaynakları isteyin.