SEO Gri Araçları

Robots.txt ve Noindex Kontrol Simülatörü

URL’niz robots.txt ile engelleniyor mu, Googlebot sayfadaki noindex etiketini görebilir mi ve bu yapı dizinden kaldırma için doğru mu? Kuralları girin, sonucu anında görün.

Kontrol Bilgileri

Test Edilecek URL Path ve query birlikte değerlendirilir

User-agent

Hedefiniz

Robots.txt İçeriği Kendi robots.txt kurallarınızı yapıştırın

Sayfa Meta Robots

HTTP Durum Kodu

X-Robots-Tag Header Boş bırakılabilir

Canonical URL Opsiyonel

Bu araç canlı Google testi yapmaz; girilen robots.txt ve sayfa sinyallerini simüle eder. Sunucuya veri göndermez.

Analiz Sonucu

Hazır Analiz bekleniyor

URL, robots.txt ve noindex bilgilerini girip “Analiz Et” butonuna basın.

Bu Araç Ne İşe Yarar?

Robots.txt ve noindex çoğu zaman karıştırılır. Robots.txt, arama motoru botlarının belirli URL’leri taramasını engeller. Noindex ise arama motoruna sayfanın dizinde gösterilmemesi gerektiğini söyler.

Ancak önemli bir ayrım vardır: Bir sayfa robots.txt ile engellenirse Googlebot sayfaya giremez ve sayfa içindeki noindex etiketini göremeyebilir. Bu durumda URL, başka bağlantılardan keşfedildiyse dizinde kalmaya devam edebilir.

Yöntem	Ne Yapar?	Dizinden Kaldırmak İçin Yeterli mi?
Robots.txt Disallow	Botun URL’yi taramasını engeller.	Tek başına garanti değildir.
Meta Robots Noindex	Sayfanın dizinde gösterilmemesini ister.	Googlebot sayfaya erişebilirse etkilidir.
X-Robots-Tag Noindex	HTTP header üzerinden noindex talimatı verir.	Özellikle PDF ve dosyalar için kullanılabilir.
404 / 410	Sayfanın olmadığını veya kalıcı kaldırıldığını bildirir.	Sayfa gerçekten kaldırıldıysa uygundur.

En Kritik Senaryo

Sayfayı Google’dan kaldırmak istiyorsanız, robots.txt ile engelleyip aynı sayfaya noindex eklemek çoğu zaman doğru çözüm değildir. Çünkü Googlebot robots.txt engeli nedeniyle sayfaya erişemeyebilir ve noindex etiketini okuyamayabilir.

Yanlış kurgu: robots.txt → Disallow: /ornek-sayfa/ Sayfa içi → <meta name="robots" content="noindex, follow"> Sonuç: Googlebot sayfaya giremez, noindex'i göremeyebilir.

Daha doğru kurgu: robots.txt → Sayfaya izin ver Sayfa içi → <meta name="robots" content="noindex, follow"> Sonuç: Googlebot sayfayı tarar, noindex'i görür ve zamanla dizinden çıkarabilir.

Sık Sorulan Sorular

Robots.txt noindex yerine geçer mi?

Hayır. Robots.txt botların taramasını engeller; noindex ise sayfanın dizinde gösterilmemesini ister. Bir URL’nin Google’dan kaldırılması isteniyorsa noindex’in Googlebot tarafından görülebilmesi gerekir.

Noindex ekledim ama sayfa hâlâ dizinde, neden?

Sayfa robots.txt ile engellenmiş olabilir. Googlebot sayfaya erişemiyorsa noindex etiketini göremez. Bu nedenle noindex’in etkili olması için sayfanın taranabilir olması gerekir.

Robots.txt ile engellenen sayfa Google’da görünebilir mi?

Evet. URL başka sayfalardan keşfedilmişse Google sayfanın içeriğini taramadan da URL’yi dizinde tutabilir. Bu yüzden robots.txt tek başına dizinden kaldırma yöntemi değildir.

Sayfayı dizinden kaldırmak için ne yapılmalı?

Sayfa taranabilir olmalı ve noindex etiketi Googlebot tarafından görülebilmelidir. Eğer sayfa gerçekten kaldırıldıysa 404 veya 410 durum kodu döndürmek de doğru bir yöntemdir.

X-Robots-Tag ne zaman kullanılır?

HTML olmayan dosyalar için kullanışlıdır. PDF, görsel veya dosya türlerinde meta robots etiketi eklenemediği için HTTP header üzerinden X-Robots-Tag: noindex verilebilir.