Rotating Proxy Bağlantı Sorunları: 407 ve Rotasyon Hataları

Rotating proxy bağlantı sorunları üç ayrı katmanda doğar ve çözüm de katmana göre değişir: istemciniz ile proxy uç noktası arasında, proxy ile hedef site arasında ya da hedef sitenin verdiği cevapta. Hangi katmanda olduğunuzu anlamadan ayar değiştirmek, çoğu zaman çalışan bir şeyi bozup asıl hatayı yerinde bırakır.

Ayrımı yanıt kodu ve hatanın geldiği an verir. İstek hiç yanıt almadan düşüyorsa ya da 407 görüyorsanız sorun ilk katmandadır; proxy sizi ya tanımıyor ya da hiç ulaşamıyorsunuz. Proxy 502 veya 504 döndürüyorsa ikinci katmandasınız: proxy sizi kabul etti ama hedefe bağlanamadı. 403, 429 ya da beklenmedik bir yönlendirme geliyorsa üçüncü katmandasınız; bağlantı tamam, hedef site isteğinizi beğenmedi. 429 için ayrı bir rehber var: 429 Too Many Requests çözümü; burada ilk iki katman ve rotasyonun kendisinden doğan sorunlar işlenir.

407, proxy sunucusunun isteği aldığını ama kimliğinizi kabul etmediğini söyler. En sık görülen neden kullanıcı adı ya da parolanın başka bir ürüne ait olmasıdır: RotatingProxy kataloğundaki rotating IPv4 residential, mobile ve datacenter ürünleri ayrı uç nokta ve ayrı kimlik kullanır. Datacenter kimliğiyle residential portuna bağlanmak her seferinde 407 üretir.

İkinci neden parolanın içindeki özel karakterlerdir. Proxy adresini http://kullanici:parola@sunucu:port biçiminde tek dize olarak veriyorsanız parola içindeki @, : ve / karakterleri adresi bölen ayraç gibi okunur. Bu karakterleri URL kodlamasıyla (@ için %40, : için %3A) yazın ya da kimliği adres dizesine gömmek yerine istemcinin ayrı kullanıcı adı ve parola alanlarına girin.

Üçüncü neden IP izni (whitelist) modudur. Kimlik yerine çıkış IP’nizi tanıtan bir kurulumda, sunucunuzun genel IP’si değiştiğinde proxy sizi tanımaz ve 407 döner. Dinamik IP alan ev ya da ofis bağlantılarında ve otomatik ölçeklenen bulut sunucularında bu sık yaşanır. Hesap panelindeki izinli IP listesiyle istemcinin o anki çıkış IP’sini karşılaştırın; farklıysa listeyi güncelleyin ya da kullanıcı adı ve parola moduna geçin.

Dördüncü neden HTTPS hedeflerde kimliğin CONNECT isteğine eklenmemesidir. Bazı istemciler kimlik bilgisini yalnız düz HTTP isteğine koyar, tünel açan CONNECT isteğine koymaz; sonuç HTTP sitelerinde çalışan, HTTPS sitelerinde 407 veren bir kurulumdur. requests ve httpx bu durumu kendiliğinden doğru yönetir; kendi yazdığınız düşük seviyeli HTTP istemcilerinde ve bazı eski kütüphanelerde Proxy-Authorization başlığını CONNECT’e de eklemeniz gerekir.

İstek hiçbir HTTP kodu almadan düşüyorsa önce ağ seviyesine bakın. Connection refused, proxy sunucusunun o portta dinlemediğini söyler; çoğunlukla port yanlış yazılmıştır ya da HTTP portuna SOCKS5 ile bağlanmaya çalışıyorsunuzdur. RotatingProxy ürünleri HTTP, HTTPS ve SOCKS5 protokollerinin üçünü destekler ama her protokol kendi portunu kullanır; panelde hangi port hangi protokole ayrılmışsa istemcide o eşleşmeyi birebir kullanın.

Connection timed out ise paket gidiyor ama yanıt gelmiyor demektir. Bu durumda üç şeyi sırayla deneyin: proxy adresine ping değil, aynı porta TCP bağlantı açmayı deneyin, çünkü çoğu proxy sunucusu ICMP’ye cevap vermez; kurumsal ağdaysanız giden bağlantıları süzen güvenlik duvarının o portu kapatıp kapatmadığını sorun; sunucunuz bulutta ise güvenlik grubunun giden kurallarına bakın.

Zaman aşımını istemcide iki ayrı değer olarak düşünün. Bağlantı zaman aşımı proxy’ye ulaşma süresini sınırlar ve kısa kalabilir. Okuma zaman aşımı ise proxy’nin hedeften cevabı alıp size iletmesine kadar geçen süreyi kapsar; residential ve mobile çıkışlarda bu süre, çıkış IP’sinin bulunduğu ağa bağlı olarak datacenter’dan uzun olur. Okuma zaman aşımını hedefin olağan gecikmesinin birkaç katına ayarlayın, bağlantı zaman aşımını kısa tutun; iki değeri tek bir sayıya bağlayan istemcilerde yüksek olanı seçin.

Bir de şema hatası var: proxy adresini https:// ile başlatmak. Hedef HTTPS olsa bile proxy’ye bağlantı çoğunlukla düz HTTP şemasıyla kurulur ve şifreli tünel CONNECT ile açılır. Proxy’nin kendisi TLS ile dinlemiyorsa https://proxy biçimindeki adres el sıkışmada takılır ve anlaşılmaz bir SSL hatası üretir. Panelde aksi yazmıyorsa proxy adresini http:// ya da socks5:// ile verin.

Proxy’den gelen 502 Bad Gateway ya da 504 Gateway Timeout, kimlik ve ağ katmanının temiz olduğunu, sorunun proxy ile hedef arasında olduğunu gösterir. Rotating kurulumlarda bu hataların önemli bir kısmı geçicidir: seçilen çıkış IP’si o an hedefe ulaşamamıştır ve bir sonraki istek başka bir IP’den gideceği için kendiliğinden düzelir. Bu yüzden 502 ve 504 için ilk kural, isteği aynı ayarlarla bir kez daha göndermektir; tekrar politikasını nasıl kuracağınız Python ile rotating proxy rehberinde anlatılıyor.

Hata ısrarlıysa hedefin kendisini sorgulayın. Hedef site yalnız belirli ülkelerden erişime açıksa ve istek yanlış ülke havuzundan çıkıyorsa proxy hedefe ulaşır ama cevap alamaz. Ülke seçimi yapılmış bir uç nokta kullanın ve seçtiğiniz ülkenin hedef için izinli olduğundan emin olun. Hedef IPv6 kabul etmiyorsa ve siz IPv6 havuzundan çıkıyorsanız da sonuç aynıdır; hedefin AAAA kaydı yoksa IPv4 ürününe geçin.

Bir başka ısrarlı 504 kaynağı hedefin aşırı yavaş olmasıdır. Proxy, hedefe kendi zaman aşımı içinde ulaşamayınca pes eder ve size 504 döner; istemcinizdeki okuma zaman aşımını artırmak burada işe yaramaz, çünkü pes eden proxy’dir. Bu durumda hedefin ağır sayfalarını daha küçük parçalar hâlinde istemek ya da sayfa yerine doğrudan veri uç noktasını hedeflemek sorunu kaynağında çözer.

Rotating proxy’de her istek farklı bir IP’den çıkabilir; bu, bağlantı kurulduğu hâlde işin yarıda kalmasına yol açan ayrı bir sorun sınıfı üretir. En bilinen belirti, giriş yaptıktan sonraki ilk sayfada tekrar giriş ekranına düşmektir. Hedef site oturumu çerez artı IP ile bağlıyorsa, çerez aynı kalsa da IP değiştiği için oturum geçersiz sayılır. Çözüm sticky oturumdur: rotating IPv4 residential ve rotating mobile ürünlerinde sticky ve rotating oturum seçenekleri birlikte sunulur; giriş, sepet ve çok adımlı form gibi akışlarda sticky oturum açıp işin bitiminde rotating’e dönün.

İkinci belirti, aynı hedefte art arda farklı dillerde ya da farklı para birimlerinde sayfa almaktır. Hedef, içeriği çıkış IP’sinin ülkesine göre kişiselleştiriyor ve rotasyon ülkeler arasında geziyordur. Ülke sabitlenmiş bir uç nokta kullanın; ülke içinde rotasyon devam eder, kişiselleştirme sabit kalır.

Üçüncü belirti, dosya indirme ya da uzun süren POST isteklerinin yarıda kesilmesidir. Çıkış IP’si tek bir istek sürerken değişmez; ancak bazı istemciler büyük gövdeleri parça parça ayrı isteklerle gönderir ve her parça başka IP’den çıkar. Yüklemeleri ve çok parçalı indirmeleri sticky oturum altında yapın, kısa GET isteklerini rotating’de bırakın. Oturum süresi dolduğunda IP değişeceği için uzun işleri oturum süresinin içine sığacak biçimde bölün.

Dördüncü belirti, rotasyon beklerken aynı IP’nin tekrar gelmesidir. Bu çoğunlukla istemcinin bağlantıyı canlı tutmasından (keep-alive) kaynaklanır: açık TCP bağlantısı üzerinden giden istekler aynı çıkışı kullanır. Her istekte yeni IP istiyorsanız bağlantı havuzunu kapatın ya da her isteği yeni bağlantıyla gönderin.

Kendi kodunuzda hata ararken önce aynı isteği curl ile tekrar edin; istemci kütüphanesinin eklediği davranışları devreden çıkarmanın en hızlı yolu budur. İlk adımda proxy üzerinden basit bir HTTP hedefe, ikinci adımda bir HTTPS hedefe, üçüncü adımda asıl hedefinize gidin. Her adımda -x ile proxy adresini, -U ile kullanıcı adı ve parolayı ayrı ayrı verin, -v ile ayrıntılı çıktıyı açın.

Çıktıda şu satırları arayın. Proxy’ye bağlanıldığını söyleyen satırdan sonra 407 görüyorsanız kimlik katmanındasınız; parolayı -U ile ayrı verdiğiniz hâlde 407 sürüyorsa kimlik gerçekten yanlıştır ya da IP izni modu devrededir. CONNECT satırından sonra 200 Connection established görüp asıl istekte hata alıyorsanız proxy katmanı temizdir; hata hedefe aittir. Hiç HTTP satırı görmeden bağlantı düşüyorsa port ve protokol eşleşmesine dönün.

HTTPS hedeflerde bir adım daha ekleyin: hedefin sertifikasını gördüğünüzden emin olun. Çıktıdaki sertifika konusu hedefin alan adını taşımıyorsa arada bir şey vardır; kurumsal ağlarda TLS inceleme yapan güvenlik duvarları bu belirtiyi verir ve proxy ayarlarınız doğru olsa da bağlantı el sıkışmada düşer.

Son olarak aynı testi iki kez üst üste yapın ve çıkış IP’sini gösteren bir hedef kullanın. İki istekte farklı IP görüyorsanız rotasyon çalışıyor; aynı IP görüyorsanız ya sticky oturum açık ya da keep-alive devrede. Çıkış IP’sinin ülkesi beklediğiniz ülke değilse uç noktadaki ülke seçimini kontrol edin. Bu beş dakikalık tur, rotating proxy bağlantı sorunlarının büyük bölümünü doğru katmana yerleştirir; geri kalanı için 429 hız sınırı rehberine ve Scrapy ile Playwright kurulum rehberine geçebilirsiniz.

Şu eşleşmeyi istemci loglarınızın yanına koyun. 407: kimlik ve ürün eşleşmesi, parola kodlaması, IP izni listesi. Connection refused: port ve protokol eşleşmesi. Connection timed out: güvenlik duvarı ve giden kurallar, sonra bağlantı zaman aşımı. SSL hatası proxy adımında: proxy şeması https yerine http veya socks5. 502 ve 504: bir kez tekrar, ısrar ederse ülke ve IP sürümü uyumu. Tekrar giriş ekranı: sticky oturum. Dil ve para birimi karışması: ülke sabitleme. Aynı IP tekrar geliyor: keep-alive ve bağlantı havuzu. 429: hız sınırı rehberi.

Destek talebi açmadan önce bu tabloyla hangi katmanı elediğinizi yazın; yardım isterken 407 mü, 504 mü, yoksa düşen oturum mu olduğunu söylemek çözümü kısaltır. GB bazlı paketlerde süre sınırı olmadığı için teşhis testleri kotanızdan fark edilir bir pay almaz.