Crawl Budget Optimizasyonu: Tarama Bütçesini Verimli Kullanma

Crawl budget (tarama bütçesi), Googlebot'un belirli bir zaman diliminde sitenizde tarayabileceği ve taramak istediği sayfa sayısını ifade eden bir kavramdır. Google, sınırsız kaynaklara sahip olsa da her siteye eşit zaman ayırmaz. Özellikle binlerce veya milyonlarca sayfaya sahip büyük siteler, e-ticaret platformları ve haber portalları için crawl budget kritik bir SEO faktörüdür. Tarama bütçenizi doğru yönetemezseniz, önemli sayfalarınız dizine eklenmeyebilir veya güncellemeleriniz Google tarafından geç fark edilebilir. Bu rehberde, crawl budget kavramını derinlemesine açıklıyor ve pratik optimizasyon tekniklerini sunuyoruz.

Crawl Budget Nasıl Çalışır?

Google, crawl budget'ı iki temel bileşenle belirler:

1. Tarama Kapasitesi Limiti (Crawl Rate Limit)

Bu limit, Googlebot'un sitenizi taramasının sunucunuza ne kadar yük bindireceğiyle ilgilidir. Google, sitenizin performansını olumsuz etkilememek için tarama hızını otomatik olarak ayarlar. Sunucunuz hızlı yanıt veriyorsa Google daha fazla sayfa tarar; sunucunuz yavaşlarsa veya 5xx hataları verirse tarama hızını düşürür. Search Console'un "Ayarlar" bölümündeki "Tarama istatistikleri" raporundan Googlebot'un sitenizi ne sıklıkla ve ne kadar hızlı taradığını görebilirsiniz.

2. Tarama Talebi (Crawl Demand)

Google'ın sitenizi ne kadar sık taramak istediğidir. Bu talep şu faktörlere göre belirlenir:

• Popülerlik: Daha fazla trafik alan ve daha fazla backlink'e sahip sayfalar daha sık taranır.
• Eskime (Staleness): Sık güncellenen sayfalar daha sık taranır çünkü Google'ın dizininin güncel kalması gerekir.
• Site genelindeki etkinlik: Yeni sayfalar eklediğinizde veya mevcut sayfaları güncellediğinizde Google'ın tarama talebi artar.

Crawl Budget Hangi Siteler İçin Önemlidir?

Google'ın kendi açıklamalarına göre, crawl budget çoğu küçük-orta ölçekli site için bir sorun değildir. Ancak şu durumlarda crawl budget optimizasyonu kritik hale gelir:

• 500.000+ sayfalık büyük siteler: E-ticaret siteleri, emlak portalleri, iş ilanı siteleri gibi çok sayfalı platformlar.
• Dinamik URL üreten siteler: Filtre, sıralama ve arama parametreleriyle binlerce kombinasyon oluşturan siteler.
• Yeni eklenen sayfaların dizine alınmasında gecikme yaşayan siteler: Yeni ürünler veya içerikler Google'da görünmüyorsa crawl budget sorunu olabilir.
• Sık güncellenen siteler: Haber siteleri, fiyat karşılaştırma siteleri gibi sürekli güncellenen içerikler.

Crawl Budget İsrafına Neden Olan Faktörler

1. Düşük Değerli URL'ler

Googlebot'un zamanını değersiz sayfalarda harcaması, en büyük crawl budget israfıdır:

• Faceted navigation / Filtre URL'leri: Bir e-ticaret sitesindeki renk, beden, fiyat aralığı, marka gibi filtreler binlerce URL kombinasyonu oluşturur. "ayakkabi?renk=kirmizi&beden=42&marka=nike&siralama=fiyat" gibi URL'ler genellikle benzersiz içerik sunmaz.
• Oturum ID'leri ve izleme parametreleri: URL'lere eklenen ?sessionid=abc123 veya ?utm_source=google gibi parametreler aynı içerik için farklı URL'ler oluşturur.
• Dahili arama sonuç sayfaları: Site içi arama sonuçları genellikle düşük kaliteli sayfalar oluşturur ve sınırsız URL kombinasyonu üretebilir.
• Takvim sayfaları: Sonsuz takvim navigasyonu, Googlebot'u sınırsız bir döngüye sokabilir.
• Duplicate content: Aynı içeriğin HTTP/HTTPS, www/non-www veya trailing slash varyasyonları.

2. Soft 404 Hataları

Gerçekte var olmayan ancak 200 durum kodu döndüren sayfalar "soft 404" olarak adlandırılır. Googlebot bu sayfaları tarar ancak faydalı bir içerik bulamaz. Bu durum hem crawl budget israfıdır hem de Google'ın sitenizin kalitesine ilişkin olumsuz bir sinyal oluşturur. Var olmayan sayfalar için mutlaka 404 veya 410 durum kodu döndürün.

3. Yönlendirme Zincirleri

A sayfası B'ye, B sayfası C'ye, C sayfası D'ye yönlendirme yapıyorsa bu bir yönlendirme zinciridir. Googlebot her yönlendirmeyi ayrı bir tarama olarak sayar. Zincirleri ortadan kaldırarak A sayfasını doğrudan D'ye yönlendirin. 3'ten fazla yönlendirme zincirinde Googlebot takibi bırakabilir.

4. Yavaş Sunucu Yanıtı

Sunucunuz yavaş yanıt verirse Googlebot tarama hızını düşürür. Bu da aynı sürede daha az sayfa taranması anlamına gelir. TTFB'nin 200 milisaniyenin altında olması idealdir. Sunucu hataları (5xx) da tarama hızını ciddi şekilde olumsuz etkiler.

Crawl Budget Optimizasyon Teknikleri

1. Robots.txt ile Tarama Kontrolü

Robots.txt dosyası, Googlebot'a hangi sayfaları taramaması gerektiğini söylemenin en temel yoludur. Düşük değerli URL kalıplarını robots.txt ile engelleyebilirsiniz:

• Dahili arama sonuç sayfalarını engelleyin: /search? veya /arama? yollarını Disallow yapın.
• Filtre kombinasyonlarını engelleyin: Parametre içeren URL kalıplarını belirleyin ve gereksiz olanları engelleyin.
• Admin ve kullanıcı panellerini engelleyin: /admin/, /hesabim/ gibi yollar zaten dizine eklenmemeli.
• Yazdırma ve PDF versiyonlarını engelleyin: /print/ veya ?format=pdf gibi varyasyonlar gereksiz tarama oluşturur.

Dikkat: Robots.txt ile engellenen sayfalar hala Google dizinine girebilir (başka siteler bağlantı veriyorsa). Dizinden tamamen çıkarmak istiyorsanız noindex meta etiketi kullanmanız gerekir, ancak noindex'in çalışması için sayfanın taranabilir olması gerekir. Bu durumda robots.txt yerine noindex tercih edin.

2. XML Sitemap Optimizasyonu

XML sitemap, Google'a hangi sayfaların önemli olduğunu söylemenin en etkili yoludur:

• Yalnızca dizine alınmasını istediğiniz sayfaları ekleyin: 200 durum kodu döndüren, canonical'ı kendisine işaret eden ve noindex olmayan sayfalar.
• Lastmod tarihini doğru kullanın: Sadece içerik gerçekten değiştiğinde lastmod tarihini güncelleyin. Her gün tüm sayfaların tarihini güncellemek Google'ın güvenini sarsar.
• Sitemap'i bölümlere ayırın: Büyük siteler için ürünler, kategoriler, blog yazıları gibi bölümler için ayrı sitemap dosyaları oluşturun ve bir sitemap index dosyasıyla birleştirin.
• Dinamik sitemap oluşturun: Statik bir dosya yerine, veritabanından otomatik olarak güncellenen dinamik bir sitemap kullanın.

3. URL Parametresi Yönetimi

URL parametreleri crawl budget'ın en büyük düşmanlarından biridir. Yönetim stratejileri:

• Canonical etiketler: Filtre ve sıralama parametreli URL'lerin canonical etiketini parametre olmayan ana URL'ye yönlendirin.
• Noindex, follow: Filtre sayfalarının dizine alınmasını istemiyorsanız ancak bu sayfaların içerdiği bağlantıların takip edilmesini istiyorsanız bu kombinasyonu kullanın.
• JavaScript ile filtreleme: Filtre değişikliklerini URL parametresi yerine JavaScript ile yönetin. Bu sayede Googlebot filtre URL'lerini görmez. Ancak bu yaklaşım kullanıcı deneyimini olumsuz etkileyebilir (filtrelenmiş sayfalar paylaşılamaz).
• AJAX crawling yerine temiz URL yapısı: Anlamlı filtre kombinasyonlarını (renk=kirmizi gibi) /ayakkabi/kirmizi/ şeklinde temiz URL'lere dönüştürün ve yalnızca SEO değeri taşıyan kombinasyonları dizine alın.

4. Dahili Bağlantı Yapısı

Googlebot, dahili bağlantıları takip ederek sitenizi tarar. Dahili bağlantı yapınızı optimize ederek crawl budget'ı önemli sayfalara yönlendirebilirsiniz:

• Düz site mimarisi: Herhangi bir sayfaya ana sayfadan en fazla 3-4 tıklama ile ulaşılabilir olmalıdır.
• Önemli sayfaları öne çıkarın: En önemli sayfalarınıza (ana ürün kategorileri, yüksek dönüşümlü sayfalar) daha fazla dahili bağlantı verin.
• Orphan page'leri ortadan kaldırın: Hiçbir dahili bağlantı almayan sayfalar "yetim sayfalar"dır ve Googlebot bunları keşfetmekte zorlanır. Her sayfanın en az bir dahili bağlantıdan erişilebilir olmasını sağlayın.

5. İçerik Temizliği

Düşük kaliteli veya eski içerikleri düzenli olarak temizlemek crawl budget'ı iyileştirir:

• Thin content: Çok az içerik barındıran sayfaları zenginleştirin veya benzer sayfalarla birleştirin.
• Eski ve güncelliğini yitirmiş sayfalar: Artık geçerli olmayan içerikleri güncelleyin veya 301 yönlendirmesiyle ilgili güncel sayfaya yönlendirin.
• Duplicate content: Aynı veya çok benzer içerikli sayfaları canonical etiketler veya 301 yönlendirmeleriyle birleştirin.
• Boş kategori ve etiket sayfaları: İçerik barındırmayan kategori veya etiket sayfalarını noindex yapın veya kaldırın.

Crawl Budget İzleme ve Analiz

Google Search Console Tarama İstatistikleri

Search Console'un "Ayarlar" bölümündeki tarama istatistikleri raporu şu bilgileri sunar:

• Toplam tarama istekleri: Günlük olarak kaç sayfa tarandığını gösterir.
• Ortalama yanıt süresi: Sunucunuzun Googlebot'a ne kadar hızlı yanıt verdiğini gösterir.
• Dosya türüne göre dağılım: HTML, JavaScript, CSS, görsel ve diğer dosya türlerinin tarama dağılımını gösterir.
• Yanıt koduna göre dağılım: 200, 301, 404, 5xx gibi HTTP durum kodlarının dağılımı.
• Googlebot türüne göre dağılım: Smartphone Googlebot ve Desktop Googlebot tarama oranları.

Log Dosyası Analizi

Sunucu log dosyaları, Googlebot'un davranışını en detaylı şekilde analiz etmenizi sağlar. Screaming Frog Log File Analyser, JetOctopus veya Oncrawl gibi araçlarla log dosyalarını analiz ederek şu soruları yanıtlayabilirsiniz:

• Googlebot en çok hangi sayfaları tarıyor?
• Önemli sayfalarım ne sıklıkla taranıyor?
• Googlebot düşük değerli sayfalarda ne kadar zaman harcıyor?
• Tarama sırasında hangi HTTP hataları oluşuyor?
• Googlebot'un tarama kalıpları gün içinde nasıl değişiyor?

E-Ticaret Siteleri İçin Özel Stratejiler

E-ticaret siteleri, filtre kombinasyonları, ürün varyasyonları ve sayfalama nedeniyle crawl budget sorunlarına en açık sitelerdir. Özel stratejiler:

• Faceted navigation yönetimi: Yalnızca SEO değeri taşıyan filtre kombinasyonlarını (örneğin "erkek-kosu-ayakkabisi") dizine alın, diğerlerini noindex yapın veya robots.txt ile engelleyin.
• Sayfalama (pagination): rel="next" ve rel="prev" artık Google tarafından kullanılmasa da, sayfalama sayfalarının tamamını dizine almak crawl budget israfıdır. İlk 2-3 sayfayı dizine alın, geri kalanı noindex yapın veya "load more" butonu ile tek sayfa yapın.
• Stokta olmayan ürünler: Stokta olmayan ürün sayfalarını hemen silmeyin; 301 yönlendirmesiyle benzer bir ürüne veya kategori sayfasına yönlendirin. Geçici olarak stokta yoksa sayfayı koruyun ve "stokta yok" bilgisini gösterin.
• Mevsimsel ürünler: Sezon dışı ürün sayfalarını koruyun ancak iç bağlantı önceliğini mevsimsel ürünlere kaydırın.

Sonuç

Crawl budget optimizasyonu, özellikle büyük siteler için SEO'nun temel taşlarından biridir. Googlebot'un zamanını değersiz sayfalarda harcamasını önleyerek, önemli içeriklerinizin daha hızlı keşfedilmesini ve dizine alınmasını sağlayabilirsiniz. Robots.txt yönetimi, XML sitemap optimizasyonu, URL parametresi kontrolü, düz site mimarisi ve düzenli içerik temizliği ile crawl budget'ınızı verimli kullanabilirsiniz. Search Console tarama istatistiklerini ve log dosyalarını düzenli olarak izleyerek optimizasyon çalışmalarınızın etkisini ölçün ve sürekli iyileştirme döngüsünü sürdürün.