Web SCRAPING
Web scraping için proxy: IP türünü hedefe ve hacme göre seçin.
Herkese açık sayfalardan düzenli veri çekerken hedef sitenin istek sınırı, IP türlerine yaklaşımı ve sizin maliyet modeliniz birlikte belirleyici olur. Bu sayfa hangi paketin hangi iş yüküne uyduğunu ve nasıl ölçülü çalışabileceğinizi anlatır.
Bu işte öne çıkan ürünler: Datacenter Proxy, Residential Proxy, Rotating Mobil Proxy ve IPv6 Proxy.
Genel bakış
Bu işte IP neden önemli?
Web scraping, herkese açık sayfalardaki bilgiyi bir betik ya da tarayıcı otomasyonuyla okuyup düzenli bir tabloya dönüştürmektir: ilan listeleri, ürün kataloğu, haber başlıkları, kamuya açık kayıtlar. Tek bir sayfa için proxy gerekmez; sorun, aynı betiğin yüzlerce ya da binlerce isteği kısa sürede aynı adresten göndermesiyle başlar.
Siteler çoğu zaman istekleri IP adresine göre sayar ve sınırlar. Proxy, isteklerinizi birden çok çıkış adresine yayar; bu, tek bir adresin sınırına takılmayı azaltabilir ama hedefin toplamda taşıyabileceği yükü artırmaz. Bu yüzden iş iki parçadır: hedefe uygun IP türünü seçmek ve hedefin kaldırabileceği hızda kalmak.
Zorluklar
İşin zor yanları
Proxy seçmeden önce işin sizi nerede zorlayacağını bilmek, doğru paketi bulmanın yarısıdır.
Tek adreste biriken istek
Bir IP’den kısa sürede çok istek gelince birçok site 429 (çok fazla istek) yanıtı verir ya da bağlantıyı geçici olarak keser. Sorun yalnızca betiğin hızı değil, adres başına düşen istek sayısıdır.
Sayfa ağırlığı maliyettir
Tarayıcı otomasyonu sayfayla birlikte görselleri, betikleri ve yazı tiplerini de indirir; GB bazlı bir pakette tek bir sayfa için beklediğinizden çok daha fazla trafik tüketebilir. Mümkünse yalnızca HTML ya da sitenin kendi JSON yanıtını isteyin.
IP türüne duyarlı hedefler
Bazı siteler veri merkezi adres bloklarına ev, operatör ya da mobil adreslerden farklı davranır. Hangi türün işe yaradığı hedefe göre değişir; varsayımla değil, küçük bir deneyle karar verin.
Oturum gerektiren akışlar
Sayfalama ya da çok adımlı gezinme aynı IP’de kalmayı gerektirebilir. Her istekte adres değiştiren bir kurulum bu akışları bozabilir; sabit bir oturum (sticky) ya da statik bir adres daha uygundur.
Önerilen ürünler
Web Scraping için hangi ürün?
Ürünler bu işe uygunluk sırasına göre dizildi. Her ürünün neden önerildiğini ve bir pratik ipucunu yazdık. Kesin seçimi önce küçük bir paketle doğrulayın.
01Önerilen
Datacenter Proxy
Veri merkezi IPv4 adresleri; toplu paketler, 30 günlük kullanım.
- IPv4 datacenter
- 30–1.000 IP paketleri
- HTTP / SOCKS5
Neden bu ürün?
Liste sayfaları ve herkese açık API yanıtları gibi hafif ama çok sayıda istek gerektiren işler için uygundur. Paketler 30, 100, 250 ve 1.000 IP’liktir ve fiyat IP adedine göre belirlenir. Sağlayıcı sayfasında paket özelliği olarak limitsiz trafik listelenir; makul kullanım kuralları geçerlidir (İptal, İade ve Teslimat Koşulları). Bazı siteler veri merkezi aralıklarına farklı davranabilir.
Pratik ipucu
Önce 30 IP’lik paketle hedef sitede küçük bir deneme yapın. İstek listesini IP’lere eşit bölüp IP başına hızı sabit tutun; bir IP 429 alırsa onu bir süre dinlendirin.
Aylık paketlerde başlangıç fiyatı
₺250/ ay · vergiler hariç
02
Residential Proxy
Ev tipi IP havuzu; GB bazlı paketler, dönen ve sabit oturum.
Neden bu ürün?
IP türüne duyarlı hedeflerde ev tipi adresler tercih edilir; paketler GB ile satılır. Sağlayıcı beyanına göre dönen modda her istek yeni IP kullanır, sticky modda oturum boyunca aynı IP korunur; ülke, eyalet ve şehir hedeflemesi de yapılabilir. Ülke listesi yayımlanmadığı için belirli bir ülke gerekiyorsa siparişten önce destekten teyit alın.
Pratik ipucu
Tüketimi düşürmek için görsel, yazı tipi ve reklam isteklerini engelleyin. Başlangıçta küçük bir GB paketiyle gerçek sayfa boyutunu ölçün, sonra paketi büyütün.
Aylık paketlerde başlangıç fiyatı
₺75/ ay · vergiler hariç
03
Rotating Mobil Proxy
Her istekte dönen mobil IP; isteğe bağlı sabit oturum.
Neden bu ürün?
Mobil operatör adresi gerektiren işler için: sağlayıcı beyanına göre varsayılan olarak her istek mobil IP havuzundan yeni bir adresle çıkar; oturum kimliğiyle aynı IP’de kalabilirsiniz. Türkiye’de tek seferlik GB paketleri ve Vodafone hattında günlük, haftalık, aylık kotasız paketler vardır. Kotasız pakette GB sayacı yoktur; makul kullanım kuralları geçerlidir (İptal, İade ve Teslimat Koşulları).
Pratik ipucu
Eşzamanlı bağlantı sınırı yayımlanmadığı için az bağlantıyla başlayın, sonra sayıyı kademeli olarak artırın. Bağlantı standart proxy ayarıyla yapılır; ayrı bir API ya da SDK yoktur.
Aylık paketlerde başlangıç fiyatı
₺2.600/ ay · vergiler hariç
04
IPv6 Proxy
Paket başına bir /64 alt ağdan IPv6 adresleri; yalnızca HTTP(S).
Neden bu ürün?
Hedefiniz IPv6 destekliyorsa bir /64 alt ağdan gelen 100, 500, 2.500 ya da 15.000 adreslik paketler istekleri çok sayıda ayrı adrese yaymayı kolaylaştırır. Yalnızca HTTP(S) çalışır; IPv6 sunmayan bir siteye ulaşılamaz. Adresler aynı alt ağdan geldiği için blok bazlı değerlendiren sitelerde çeşitlilik sınırlı kalabilir.
Pratik ipucu
Satın almadan önce hedef alan adının AAAA kaydı olup olmadığına DNS Sorgulama aracıyla bakın; kayıt yoksa bu paket o hedefte işe yaramaz.
Aylık paketlerde başlangıç fiyatı
₺100/ ay · vergiler hariç
Fiyatlar TRY olup vergiler hariçtir. Sipariş ve ödeme adımları saglamproxy.com üzerinde tamamlanır. Tüm paketleri fiyatlandırma sayfasında karşılaştırabilirsiniz.
Kurulum akışı
Fikirden ilk isteğe
Kurulumda işinize yarayacak sayfalar:Proxy Kontrol aracıKurulum rehberleri
Önce resmi kaynağa bakın
Sitenin API’si, veri akışı (feed) ya da site haritası varsa bunlardan birini kullanın; sayfa kazımaktan hem daha hafif hem daha sağlamdır. Yoksa hangi sayfalardan hangi alanları alacağınızı ve hacmi (sayfa sayısı × ortalama boyut) yazın.
Paketi hacme göre seçin, bağlantıyı sınayın
Hesapladığınız hacmi fiyatlandırma sayfasındaki paketlerle eşleştirin; paketler GB, süre ya da IP adedi bazında satılır. Bağlantı bilgilerini Proxy Kontrol aracıyla sınayın.
Küçük bir pilot çalıştırın
Birkaç yüz sayfalık bir örnekle yanıt kodlarının (200, 403, 429) ve sayfa boyutlarının dağılımına, ayrıca hata oranına bakın. Bağlantı örnekleri için cURL ve Python rehberine göz atın.
Hızı kademeli olarak artırın
Düşük hızla başlayın, 429 ya da 403 oranı artınca yavaşlayın; IP eklemek yerine istek aralığını açın. Hatalı istekleri üstel geri çekilmeyle yeniden deneyin.
Sorumlu kullanım
Ölçülü ve kurallara uygun çalışmanın ilkeleri
Proxy bir erişim yöntemidir, izin değildir: hedef sitenin kuralları ve ilgili mevzuat proxy ile değişmez.
robots.txt ve tarama gecikmesi
Her adresi taramaya almadan önce hedefin
robots.txtdosyasına göre kontrol edin;Disallowile kapatılmış yolları taramayın. DosyadaCrawl-delayvarsa istekler arasında en az o kadar bekleyin. Tarama aracınızrobots.txtuyumunu ayar olarak sunuyorsa bu ayarı etkin tutun.Hızı IP sayısına göre artırmayın
Hedefe gönderdiğiniz toplam istek hızına, kullandığınız IP sayısından bağımsız bir üst sınır koyun. Yanıtlar yavaşlarsa ya da 429 görürseniz bu sınırı düşürün.
Yalnızca herkese açık içerik
Giriş, ödeme ya da erişim kontrolü arkasındaki sayfalara dokunmayın. Bir doğrulama ekranı (captcha) çıkarsa onu aşmaya çalışmayın; hızı düşürün ya da siteden izin isteyin.
Kişisel veriyi dışarıda bırakın
Ad, telefon ve e-posta gibi alanlar herkese açık sayfada bile kişisel veridir. İşinize yaramayan alanları ayrıştırma aşamasında atın; sayfanın ham kopyasını saklamak da içindeki kişisel veriyi saklamak demektir. Kişisel veri tutmanız gerekiyorsa KVKK kapsamında amacı ve saklama süresini baştan belirleyin.
Şartları ve telifi gözetin
Kaynağı projeye almadan önce kullanım şartlarının otomatik erişim hakkında ne dediğine bakın. Otomatik erişim yasaksa yazılı izin alın; alamazsanız kaynağı kapsam dışında bırakın. Topladığınız içeriğin telif hakkı sahibinde kalır; yalnızca ihtiyacınız olan alanları saklayın.
Hukuki not
Web scraping’in hukuka uygunluğu tek bir kurala bağlı değildir: neyi topladığınız, nasıl eriştiğiniz, topladığınız veriyi ne için kullandığınız ve kaynağın şartları birlikte belirleyicidir. Herkese açık olmak, her verinin her amaçla kullanılabileceği anlamına gelmez; kişisel veri, telif hakkı ve rekabet kuralları ayrı ayrı değerlendirilmelidir. Bir site otomatik erişimi yasaklıyorsa proxy kullanmak bu yasağı kaldırmaz. Kapsamlı bir projeden önce hukuk danışmanınızdan görüş alın.
SSS
Web Scraping için sık sorulanlar
Sıradaki adım
Web Scraping için paketinizi seçin
Bu iş için önerdiğimiz ürün Datacenter Proxy. Sipariş sayfasına gidebilir ya da WhatsApp’tan işinizi anlatıp paketi birlikte seçebilirsiniz.
Önerilen
Datacenter Proxy
Fiyatlar TRY olup vergiler hariçtir. Sipariş ve ödeme adımları saglamproxy.com üzerinde tamamlanır.