Kısa cevap: Web siteniz "çöküyor" diye tanımladığınız an, çoğunlukla gerçek bir ziyaretçi değil, yüzlerce sunucudan eş zamanlı gelen otomatik bot trafiğiyle sunucunuzun boğulduğu andır. Bu botların çoğu SEO veri toplayan scraper araçları, yapay zekâ eğitim veri kazıyıcıları veya rakip firma istihbarat sistemleridir.
Sabah sekizde sitenize girmeye çalışıyorsunuz. "504 Gateway Timeout." Tekrar deniyorsunuz. Yine aynı. Müşteriniz de aynı anda aynı sayfayı açmaya çalışıyor ama göremeden çıkıyor. O anda kaybettiğiniz yalnızca bir ziyaret değil; güven, gelir ve marka değeri.
Bu makalede sorunun gerçek teknik kökünü, neden "IP engelle" yaklaşımı hiçbir zaman işe yaramadığını ve kalıcı katmanlı savunmanın nasıl kurulduğunu adım adım ele alıyoruz.
1. "Site Çöktü" Derken Gerçekte Ne Oluyor?
Bir web sunucusunun işleyebileceği eş zamanlı bağlantı sayısı sınırlıdır. Gerçek bir ziyaretçi sitenizi açtığında sunucuya bir istek gönderir, yanıt alır ve bağlantıyı kapatır. Bu süreç milisaniyeler içinde tamamlanır.
Ama bir scraper botu bunu yapmaz. Otomatik bir scraper, sitenizin tüm sayfalarını sırayla ya da eş zamanlı olarak tarar. 10.000 sayfalık bir haber sitesinde bir scraper aracı saatte 50.000–200.000 istek gönderebilir. Bunu tek bir IP'den değil, farklı sunucu IP'lerinden dönerek yapar. Sunucunuz bu isteklerin tamamına yanıt vermeye çalışırken gerçek ziyaretçilere yanıt veremez hale gelir.
Teknik olarak şu sıra yaşanır:
- Bot'lar saniyede düzinelerce istek gönderir
- PHP-FPM veya web uygulama worker'ları tükenir
- Yeni gelen istekler kuyruğa girer, kuyruk taşar
- Veritabanı bağlantıları sınıra ulaşır
- Sunucu belleği dolar; işletim sistemi süreçleri öldürmeye başlar
- Gerçek ziyaretçiler 503, 504 veya beyaz ekran görür
Load average değeri (sunucu yükü) normalin 5–10 katına çıkar. Sunucuyu yeniden başlatmak işe yarar mı? Kısa vadede evet, birkaç dakika için. Botlar hemen geri döner ve döngü yeniden başlar.
2. Scraper Botları Neden Bu Kadar Yaygın?
Scraper saldırısını yalnızca kötü niyetli hackerlar yapmaz. Bu botların büyük kısmı yasal ticari araçlardır:
- SEO analiz platformları: Ahrefs, SEMrush, Moz ve benzerleri rakip site analizleri için tüm siteleri periyodik olarak tarar. Sitenize günde yüzlerce istek gönderdiklerinde sunucu yükü ciddi şekilde artar.
- Fiyat ve içerik karşılaştırıcılar: E-ticaret, turizm ve gayrimenkul sektörlerinde rakipler, otomatik araçlarla fiyatlarınızı anlık izler.
- Yapay zekâ eğitim kazıyıcıları: Büyük dil modeli şirketleri ve araştırma kurumları, eğitim verisi toplamak için milyarlarca web sayfasını tarar. GPTBot, ClaudeBot, CCBot bunların en bilinenleridir.
- Sosyal medya önizleme botları: Facebook, LinkedIn gibi platformların bağlantı önizleme botları sitenizi düzenli ziyaret eder.
- Güvenlik açığı tarayıcıları: SQLMap, WPScan, Nikto gibi araçlar güvenlik testleri için sitenizi sürekli tarar.
3. Türkiye'deki Site Sahipleri Neden Özellikle Etkileniyor?
Türkçe içerik üreten siteler son yıllarda uluslararası bot trafiğinden orantısız bir pay almaktadır:
- Büyüyen içerik ekosistemi: Türkçe web içeriği hızla genişliyor. Bu içeriklere olan talep, kazıyıcıların Türkçe siteleri daha sık ziyaret etmesine neden oluyor.
- Yetersiz sunucu kaynaklarına sahip büyüyen siteler: Başlangıçta küçük bir sunucuyla kurulan siteler büyüdükçe, hosting planı güncellenmeden kalır.
- Origin IP'nin açıkta olması: Türkiye'deki sitelerin önemli bir bölümü sunucu IP'sini doğrudan internete açık tutmaktadır. CDN veya WAF olmadan botlar doğrudan sunucuya ulaşır.
- Tek katmanlı koruma: Birçok site yalnızca .htaccess kuralları veya basit IP engellemeyle bot trafiğini önlemeye çalışır. Bu yöntemler geçici rahatlama sağlar ama asla kalıcı çözüm değildir.
4. "IP Engelleme" Neden Kalıcı Çözüm Değildir?
Site sahiplerinin en sık başvurduğu yöntem IP engellemedir. Belirli bir IP adresinden gelen trafiği bloke etmek kolay görünür. Ancak bu yaklaşım matematiksel olarak başarısız olmaya mahkûmdur.
Scraper API şirketleri ve büyük bot operatörleri milyonlarca IP adresine sahip residential proxy ağları veya datacenter IP havuzları kullanır. Bir IP engellendiğinde sistem otomatik olarak başka bir IP'den devam eder. Günde yüzlerce yeni IP engellemeniz gerekebilir.
| Yöntem | Etkisi | Kalıcılık | Bakım Yükü |
|---|---|---|---|
| IP Engelleme (.htaccess / güvenlik duvarı) | Anlık, tek IP | Saatler–günler | Çok yüksek |
| User-Agent filtresi | Bilinen botları engeller | Orta (UA değiştirilebilir) | Orta |
| Rate limiting (tek IP) | Yavaşlatır, durdurmaz | Düşük (IP rotasyonuyla aşılır) | Orta |
| ASN / Datacenter blok | Tüm veri merkezi trafiğini filtreler | Yüksek (ASN değişmez) | Düşük |
| CDN edge WAF + Challenge | Sunucuya ulaşmadan keser | Çok yüksek | Çok düşük |
5. Sunucu Maliyetleri Neden Sürekli Artar?
Bot trafiğinin en sinsi etkisi, görünür bir çöküş olmasa dahi maliyetleri sürekli artırmasıdır. Sunucunuz çökmüyor ama yavaş çalışıyordur. Bir danışman "daha büyük bir sunucuya geçin" önerir. Büyük sunucuya geçersiniz, birkaç hafta iyi gider, ardından yük yine artar.
Bu döngü şu nedenle kırılamaz: sunucuyu büyütmek kapasite sorununu çözer ama talep kaynağını ortadan kaldırmaz. Botlar büyük sunucuyu bulunca oraya da o kadar yüklenirler. Gerçek çözüm kapasite artırmak değil, meşru olmayan talep kaynağını kesmektir.
Örnek senaryo: 180 sayfaya sahip bir içerik portalı başlangıçta 20 €/ay sunucuyla çalışıyordu. "Site yavaş" gerekçesiyle önce 60, sonra 120 €/ay planlara geçildi. Sorun devam edince 300–500 €/ay managed hosting'e geçildi. Oysa trafik analizi yapıldığında yükün %75'inin gerçek ziyaretçilerden değil, scraper botlarından kaynaklandığı görüldü. Bot trafiği kesilince başlangıçtaki sunucu planıyla site rahat çalışır hale geldi.
Sunucunuzdaki Bot Trafiğinin Gerçek Boyutunu Biliyor musunuz?
Ücretsiz sunucu analiz hizmetimizle, mevcut trafiğinizin ne kadarının gerçek ziyaretçi ne kadarının bot olduğunu kanıtlı verilerle gösteriyoruz. Ücretsiz Analiz İsteyin
6. Cloudflare Kullanıyorum Ama Yine de Saldırı Alıyorum — Neden?
Cloudflare, scraper saldırılarına karşı güçlü bir kalkan olmaya hazırdır. Ancak çoğu site sahibinin yaptığı kritik hatalar onu etkisiz kılar:
Hata 1: Origin Sunucu IP'sinin Açıkta Kalması
Sitenizi Cloudflare'e bağladınız ve DNS proxy (turuncu bulut) açtınız. Ancak sunucunuzun gerçek IP'si internete açıksa, botlar Cloudflare'i tamamen atlayarak doğrudan sunucunuza bağlanabilir. Bu en yaygın ve en ciddi yapılandırma hatasıdır. Cloudflare'de ne kadar kural koyarsanız koyun, trafik oradan geçmiyorsa hiçbir önemi yoktur.
Hata 2: Koruma Kurallarının Kapalı Olması
Cloudflare'de "turuncu bulut" açmak yalnızca proxy işlevi görür; koruma kuralları otomatik aktif değildir. Bot Fight Mode, Rate Limiting, WAF kuralları ayrıca yapılandırılması gerekir. Varsayılan kurulumda Cloudflare yalnızca temel volumetrik DDoS koruması sağlar.
Hata 3: Yalnızca User-Agent Filtrelemesi
Profesyonel scraper araçları normal tarayıcı UA'sı taklit eder. "Mozilla/5.0 Windows NT Chrome/131" yazan bir bot, UA filtresinden kolayca geçer. UA filtresi tek başına yeterli değildir.
7. Kalıcı Çözümün Mimarisi: Üç Katmanlı Savunma
Katman 1: CDN Edge'de ASN Tabanlı Engelleme
Gerçek scraper trafiğinin büyük çoğunluğu Amazon AWS, Microsoft Azure, Hetzner, DigitalOcean, OVH, Alibaba Cloud gibi veri merkezi altyapılarından gelir. Gerçek bir internet kullanıcısı bu altyapılardan sitenizi ziyaret etmez; yalnızca botlar ve otomasyon araçları bu ağları kullanır.
ASN (Otonom Sistem Numarası) bilgisi, IP adresinin değişmesinden bağımsız olarak sabit kalır. Bir bot IP'sini döndürdüğünde yeni IP yine aynı ASN'de olur. Dolayısıyla "bu datacenter ASN'den gelen, doğrulanmış arama motoru botu olmayan her isteğe Challenge uygula" kuralı, IP rotasyonunu tamamen işlevsiz kılar. Cloudflare'in gerçek olduğunu doğruladığı Googlebot ve Bingbot bu kuraldan muaf tutulur; SEO etkilenmez.
Katman 2: Origin Sunucu Kilidi
CDN kuralları işletildikten sonra, origin sunucusunu yalnızca CDN altyapısından gelen bağlantılara açmak gerekir. Sunucu güvenlik duvarında 80 ve 443 portları yalnızca Cloudflare IP aralıklarına açılırsa, botların origin IP'ye doğrudan erişmesi fiziksel olarak imkânsız hale gelir. Bu adım, Cloudflare'deki tüm kuralları gerçek anlamda zorunlu kılar.
Katman 3: Sunucu İçi Adaptif Throttle
CDN'den geçip origin'e ulaşan az sayıdaki istek için sunucu tarafında rate limiting ve davranış bazlı throttle çalışmaya devam eder. Meşru arama motorlarından gelen yoğun crawl'ı yönetmek ve olası sıfırıncı gün saldırılarına karşı son emniyet hattı işlevi görür.
8. Gerçek Bir Senaryo: Ne Oldu, Ne Yapıldı?
Aşağıdaki senaryo, benzer sorunları yaşayan bir haber portalını referans alarak oluşturulmuştur. Kişisel ve kurumsal bilgiler paylaşılmamıştır.
Durum: 180'den fazla sayfaya sahip, günlük 20.000–30.000 gerçek ziyaretçi alan bir haber ve içerik portalı. Sunucu load average değeri gün boyu 14–35 arasında seyrediyor, zaman zaman 80'i aşıyordu (20 çekirdekli sunucu için kritik sınır ~20). Site günde birkaç kez erişilemez hale geliyordu.
Analiz: Sunucu erişim logları incelendiğinde, en üst sıradaki IP tek başına 22.000'den fazla istek göndermişti. Bu IP'nin User-Agent bilgisi incelendiğinde bir büyük teknoloji şirketinin AI botundan kaynaklandığı görüldü. İkinci sıradaki trafik sosyal medya önizleme botu; üçüncü ve dördüncüsü temiz Chrome UA taklit eden datacenter IP'leriydi. 200.000 isteğin 160.000'inden fazlası veri merkezi kaynaklıydı. Gerçek ziyaretçi trafiğinin payı yalnızca %20'ydi.
Uygulanan çözüm: Sitenin tüm domain'leri CDN proxy arkasına alındı. Beş katmanlı WAF kuralı yapılandırıldı: bilinen scraper UA'larını bloke eden kural, datacenter ASN'lerinden gelen doğrulanmamış trafiğe challenge uygulayan kural, saldırı araçlarını bloke eden kural, WordPress saldırı yüzeyini kapatan kural ve login sayfasına managed challenge uygulayan kural.
Sonuç: Çözüm devreye alındıktan birkaç dakika sonra sunucu load average 31'den 2'nin altına indi. Site aynı sunucu kaynağıyla çok daha hızlı yanıt vermeye başladı. Aylık sunucu maliyetinde artış yapılmadı. Gerçek ziyaretçi trafiği etkilenmedi; arama motoru botları kural istisnaları sayesinde siteyi taramaya devam etti.
Sitenizin Bot Koruması Güvenilir mi?
Ücretsiz güvenlik denetimimizle mevcut açıklarınızı ve gereksiz sunucu maliyetlerinizi raporluyor, kalıcı çözüm için yol haritası sunuyoruz. Ücretsiz Güvenlik Denetimi İsteyin
9. SEO'ya Etkisi Var mı? Arama Motoru Botlarına Ne Olur?
Scraper koruması kurduğunuzda akla ilk gelen soru şudur: Googlebot da engellenecek mi? Cevap net şekilde hayır — doğru yapılandırılırsa.
Cloudflare, Googlebot ve Bingbot gibi gerçek arama motorlarını kendi altyapısında doğrular. Bu doğrulama geçerliyse ASN kuralından muaf tutulur. Sahte Googlebot UA'sı kullanan botlar ise bloke edilir. Doğru yapılandırılmış bir bot koruması arama motoru crawler'larını tamamen muaf tutar. Site hızı arttığı için Core Web Vitals skorlarında genellikle iyileşme görülür.
10. Kendiniz Neler Yapabilirsiniz?
- Sunucu yükünüzü izleyin: Yük gece yarısı da yüksekse ve gerçek ziyaretçi yoksa, botlar çalışıyordur.
- Cloudflare Analytics'e bakın: Security bölümünde kaç isteğin engellendiğini görün. Bot Fight Mode kapalıysa sıfır istek engelleniyor olacaktır.
- Hosting firmanıza sorun: "Sunucumdaki trafiğin ne kadarı gerçek ziyaretçi?" Yanıt veremiyorlarsa profesyonel destek almanın zamanı gelmiştir.
- Sunucu değiştirmeden önce analiz ettirin: "Sunucu yavaş, plan yükseltmem lazım" kararı vermeden önce yük kaynağını analiz ettirin.
11. Kalıcı Çözüm İçin Uzman Desteği Ne Zaman Gerekir?
Kalıcı bir çözüm üç unsurun birlikte çalışmasını gerektirir: doğru CDN/WAF yapılandırması, origin sunucu kilidi ve sürekli izleme. Bunların her biri ayrı bir uzmanlık alanıdır.
CDN yapılandırmasında hangi ASN'lerin engelleneceğini, hangi botların izin verileceğini (AI arama motorları vs. AI eğitim kazıyıcıları arasındaki fark gibi), Rate Limiting eşiklerinin nasıl ayarlanacağını bilmek gerekir. Yanlış bir kural meşru kullanıcıları engelleyebilir; eksik bir kural ise saldırıyı durduramaz.
Origin kilidi ise farklı yapılara göre farklı uygulamalar gerektirir. Shared hosting, VPS, dedicated sunucu ve cloud ortamlarının her birinde farklı adımlar uygulanır. İyi kurulmuş bir sistem yönetim ekibi bu değişiklikleri proaktif olarak takip eder.
