Web sitelerinde bazı sayfaların Google tarafından taranmasını istemeyebiliriz. Filtre URL’leri, site içi arama sayfaları, sepet adımları, eski kampanya sayfaları, panel URL’leri veya teknik parametreli adresler bunun en yaygın örnekleridir. Bu tür sayfaları engellemek için çoğu zaman ilk akla gelen dosya robots.txt olur.
Ancak Search Console’da bazen kafa karıştıran bir uyarıyla karşılaşılır:
“Robots.txt tarafından engelleniyor olsa da dizine eklendi.”
İlk bakışta bu ifade çelişkili görünür. Çünkü sayfa robots.txt ile engellendiyse Google’ın onu dizine eklememesi gerektiği düşünülür. Fakat robots.txt ile taramayı engellemek, her zaman dizine eklemeyi engellemek anlamına gelmez. Google da robots.txt dosyasının bir sayfayı Google’dan tamamen uzak tutmak için uygun mekanizma olmadığını; bir sayfanın Google’da görünmemesi isteniyorsa noindex veya parola koruması gibi yöntemlerin kullanılması gerektiğini belirtir.
Bu rehberde, Search Console’daki bu uyarının ne anlama geldiğini, neden oluştuğunu, noindex ile robots.txt arasındaki farkı ve doğru çözüm yolunu adım adım ele alacağız.
“Robots.txt Tarafından Engelleniyor Olsa da Dizine Eklendi” Ne Demek?
Bu uyarı, Google’ın ilgili URL’yi dizinine aldığını; ancak robots.txt kuralı nedeniyle sayfanın içeriğini tarayamadığını gösterir.
Google Search Console’un Sayfa Dizine Ekleme raporunda bu durum, sayfanın robots.txt ile engellenmesine rağmen dizine alınmış olması şeklinde açıklanır. Google, robots.txt kurallarına uyar ve engellenen sayfayı taramaz; ancak başka sayfalardan bu URL’ye bağlantı veriliyorsa, Google sayfanın içeriğini görmeden de URL’yi dizine ekleyebilir. Bu durumda arama sonucunda gösterilen açıklama genellikle çok sınırlı olur.
Yani sorun şudur:
Google URL’yi biliyor.
Fakat robots.txt nedeniyle sayfanın içine giremiyor.
Sayfanın içeriğini okuyamadığı için noindex, canonical, meta robots veya sayfa içi sinyalleri değerlendiremiyor.
Buna rağmen URL başka bağlantılar üzerinden keşfedildiği için dizinde kalabiliyor.
Bu yüzden bu uyarı, yalnızca “Google sayfayı tarayamıyor” anlamına gelmez. Aynı zamanda “Google bu URL’yi biliyor ve dizinde tutmaya devam ediyor olabilir” anlamına da gelir.
Robots.txt, Noindex ve Canonical Aynı Şey Değildir
Bu hatanın temelinde çoğu zaman robots.txt, noindex ve canonical kavramlarının karıştırılması yatar.
| Yöntem | Ne İşe Yarar? | Dizin Dışında Tutmak İçin Yeterli mi? |
|---|---|---|
| robots.txt Disallow | Googlebot’un URL’yi taramasını engeller | Hayır, tek başına garanti değildir |
| noindex | Sayfanın Google dizininde görünmemesini söyler | Evet, Googlebot sayfaya erişebilirse |
| canonical | Benzer sayfalar arasında tercih edilen URL’yi belirtir | Hayır, kesin bir dizinden çıkarma yöntemi değildir |
| 404 / 410 | Sayfanın artık olmadığını bildirir | Evet, içerik gerçekten kaldırıldıysa |
| Parola / login | Sayfaya erişimi kapatır | Evet, özellikle özel içerikler için |
| URL kaldırma aracı | Google sonuçlarından geçici hızlı kaldırma sağlar | Kalıcı çözüm değildir |
Buradaki en önemli nokta şudur: Noindex’in çalışabilmesi için Googlebot’un sayfaya erişebilmesi gerekir. Google, noindex kuralının etkili olabilmesi için sayfanın robots.txt ile engellenmemiş ve tarayıcıya erişilebilir olması gerektiğini açıkça belirtir. Eğer sayfa robots.txt ile engellendiyse Googlebot noindex etiketini göremez ve URL arama sonuçlarında kalmaya devam edebilir.
Bu Uyarı Neden Oluşur?
Search Console’da “Robots.txt tarafından engelleniyor olsa da dizine eklendi” uyarısının birkaç yaygın sebebi vardır.
URL Daha Önce Dizine Girmiştir
Sayfa geçmişte taranmış ve dizine eklenmiş olabilir. Daha sonra robots.txt ile engellendiğinde Google artık sayfayı tarayamaz; ancak URL’yi hemen dizinden çıkarmayabilir.
Sayfaya İç Link veya Dış Link Veriliyordur
Google, engellenen URL’yi başka sayfalardaki bağlantılar üzerinden keşfedebilir. Sayfanın içeriğini okuyamasa bile URL’yi dizine alabilir. Search Console dokümanında da Google’ın engellenmiş bir sayfayı, ona link veren sayfalardan elde ettiği bilgilerle dizine ekleyebileceği belirtilir.
Robots.txt Yanlış Amaçla Kullanılmıştır
Robots.txt, taramayı yönetmek için kullanılır. Ancak birçok sitede yanlışlıkla “dizinden kaldırma aracı” gibi kullanılır. Oysa Google, robots.txt dosyasının sayfayı Google’dan uzak tutmak için uygun yöntem olmadığını söyler.
Noindex Eklenmiş Ama Sayfa Robots.txt ile Engellenmiştir
Bu en kritik senaryolardan biridir. Sayfaya sonradan noindex eklenir; fakat aynı sayfa robots.txt ile disallow durumundadır. Bu durumda Googlebot sayfaya ulaşamadığı için noindex etiketini göremez.
Sitemap veya Dahili Linkler Eski URL’leri Göstermeye Devam Ediyordur
Bir URL robots.txt ile engellenmiş olsa bile sitemap’te yer alıyorsa veya site içinden link almaya devam ediyorsa Google bu URL’yi önemli bir adres gibi algılamaya devam edebilir.
Filtre, Parametre veya Site İçi Arama URL’leri Kontrolsüz Üretiliyordur
E-ticaret sitelerinde filtre, sıralama, renk, beden, fiyat veya site içi arama parametreleri çok sayıda URL oluşturabilir. Bu URL’ler robots.txt ile engellenir; fakat site içinden veya dışarıdan link alıyorsa Google’da “engellenmiş ama dizine eklenmiş” olarak görünebilir.
Saha Tecrübesi: Noindex Var Ama Google Görmüyor
Bu konuda gerçek bir örnek üzerinden anlatmak çok faydalı olur.
Bir sayfa Google’da dizine eklenmişti. Daha sonra bu sayfanın arama sonuçlarından kaldırılması için sayfaya noindex etiketi eklendi. Normal şartlarda Googlebot sayfayı yeniden taradığında noindex etiketini görmesi ve URL’yi zamanla dizinden çıkarması beklenirdi.
Fakat aynı URL robots.txt dosyasında disallow kuralı ile engellenmişti.
Yani durum şöyleydi:
User-agent: *
Disallow: /ornek-sayfa/Sayfanın içinde ise şu etiket vardı:
<meta name="robots" content="noindex, follow">⚠️ SEO Uzmanından Yaşanmış Tecrübe: “Noindex” ve “Disallow” Kördüğümü
Sektörde en sık düşülen ve sitelerin aylarca organik arama sonuçlarında “açıklamasız hayalet URL” olarak kalmasına neden olan feci bir teknik tuzak vardır: Bir sayfanın koduna noindex eklemek ama aynı zamanda o sayfayı robots.txt dosyasından Disallow ile engellemek.
Buradaki ölümcül mantık hatası şudur: Googlebot sitenize geldiğinde önce her zaman robots.txt dosyasına bakar. Eğer orada o URL veya klasör için bir yasak (Disallow) görürse, sayfanın kapısından içeri adımını bile atmaz. Sayfanın kodlarını tarayamadığı (crawl edemediği) için, sizin sayfayı dizinden kaldırmak amacıyla büyük umutlarla eklediğiniz <meta name="robots" content="noindex"> etiketini asla göremez ve okuyamaz.
Siz panellerde “Ben bu sayfayı noindex yaptım neden hala indeksli?” diye düşünürken, Google arka planda sayfanın eski (indeksli) hafızasını korumaya devam eder.
Kördüğümü Çözecek Altın Kural: Bir sayfanın indeksini noindex ile kalıcı olarak kaldırmak istiyorsanız, Googlebot’un o sayfayı taramasına geçici olarak izin vermek zorundasınız. Önce robots.txt üzerindeki engeli kaldırın. Googlebot sayfayı ziyaret edip noindex kodunu okusun ve sayfayı dizinden silsin. Sunucu kilidini (Disallow) ancak bu işlem tamamlandıktan sonra vurabilirsiniz.
Doğru Mantık: Taramayı mı Engellemek İstiyorsunuz, Dizinden mi Kaldırmak İstiyorsunuz?
Bu sorunu çözmeden önce şu ayrımı netleştirmek gerekir:
Sayfanın Google tarafından taranmasını mı istemiyorsunuz?
O zaman robots.txt kullanılabilir.
Sayfanın Google sonuçlarında görünmesini mi istemiyorsunuz?
O zaman noindex, 404/410, parola koruması veya URL kaldırma aracı gibi yöntemler gerekir.
| Amaç | Doğru Yöntem |
|---|---|
| Sayfa Google’da görünmesin | noindex |
| Sayfa tamamen kaldırıldı | 404 veya 410 |
| Sayfa özel/gizli kalsın | Parola veya üyelik koruması |
| Googlebot sayfayı taramasın | robots.txt disallow |
| PDF, görsel veya dosya dizinden çıkmasın | X-Robots-Tag noindex |
| Acil geçici kaldırma gerekiyor | Search Console URL kaldırma aracı |
Google, sayfayı hızlı şekilde arama sonuçlarından kaldırmak için Search Console’daki URL kaldırma aracının kullanılabileceğini; ancak bu aracın geçici olduğunu ve kalıcı çözüm için içeriğin kaldırılması, parola koruması veya noindex gibi yöntemlerden birinin uygulanması gerektiğini belirtir.
Eğer Sayfa Dizinden Kaldırılmalıysa Ne Yapılmalı?
Sayfanın Google sonuçlarında görünmesini istemiyorsanız robots.txt ile engellemek tek başına doğru çözüm değildir. Doğru uygulama sırası şöyle olmalıdır.
1. Robots.txt Engelini Kaldırın
Googlebot’un sayfaya ulaşması gerekir. Bu nedenle ilgili URL robots.txt ile engelleniyorsa, önce bu engel kaldırılmalıdır.
Yanlış kullanım:
User-agent: *
Disallow: /eski-sayfa/Bu durumda Googlebot sayfaya giremez ve noindex etiketini göremez.
Doğru yaklaşım:
User-agent: *
Allow: /eski-sayfa/veya bu URL’yi engelleyen disallow kuralını tamamen kaldırmaktır.
2. Sayfaya Noindex Ekleyin
Sayfa HTML ise şu meta etiketi kullanılabilir:
<meta name="robots" content="noindex, follow">Bu etiket, Google’a sayfanın dizine eklenmemesi gerektiğini bildirir. Ancak tekrar etmek gerekir: Googlebot’un bu etiketi görebilmesi için sayfayı tarayabilmesi şarttır.
3. URL’yi Sitemap’ten Çıkarın
Dizinden kaldırılmak istenen bir URL’nin sitemap içinde yer alması kafa karıştırıcı sinyal oluşturur. Sitemap yalnızca dizine eklenmesini istediğiniz önemli URL’leri içermelidir.
4. Dahili Linkleri Temizleyin
Sayfaya site içinden link verilmeye devam ediyorsa Google bu URL’yi keşfetmeye devam edebilir. Menü, footer, kategori, ürün, filtre, eski blog linkleri ve otomatik oluşturulan bağlantılar kontrol edilmelidir.
5. URL İnceleme Aracı ile Kontrol Edin
Search Console’daki URL İnceleme Aracı ile ilgili URL test edilmelidir. Google’ın yardım dokümanında, robots.txt tarafından engellenen URL’lerin URL İnceleme Aracı üzerinden kontrol edilebileceği ve “Blocked by robots.txt” durumunun buradan doğrulanabileceği anlatılır.
Kontrol edilmesi gereken alanlar:
- Tarama izinli mi?
- Sayfa getirilebiliyor mu?
- Noindex algılanıyor mu?
- Google son taramayı ne zaman yapmış?
- Kullanıcı tarafından beyan edilen canonical ile Google’ın seçtiği canonical aynı mı?
6. Gerekirse Geçici URL Kaldırma Aracı Kullanın
Eğer URL’nin arama sonuçlarından hızlı şekilde kalkması gerekiyorsa Search Console’daki URL Kaldırma Aracı kullanılabilir. Google, bu aracın URL’yi arama sonuçlarından geçici olarak kaldırabileceğini; kalıcı kaldırma için sayfanın kaldırılması, parola koruması veya noindex ile desteklenmesi gerektiğini belirtir.
Bu araç özellikle hassas içerikler, yanlışlıkla açılmış sayfalar veya hızlı müdahale gereken teknik hatalar için faydalıdır.
Eğer Sayfa Dizinde Kalmalıysa Ne Yapılmalı?
Bazı durumlarda sayfanın dizinde kalması gerekir; fakat yanlışlıkla robots.txt ile engellenmiş olabilir. Bu durumda çözüm farklıdır.
Robots.txt Kuralını Kaldırın
Sayfanın indexlenmesini istiyorsanız Googlebot’un sayfayı tarayabilmesi gerekir.
Yanlış kullanım:
User-agent: *
Disallow: /blog/Eğer blog yazılarınızın Google’da görünmesini istiyorsanız bu kural ciddi bir sorun oluşturur.
Doğru kullanım:
User-agent: *
Allow: /blog/veya blog klasörünü engelleyen kural tamamen kaldırılmalıdır.
Noindex Etiketi Olmadığından Emin Olun
Sayfa indexlenmeliyse şu etiket bulunmamalıdır:
<meta name="robots" content="noindex">Ayrıca HTTP header tarafında da X-Robots-Tag noindex olup olmadığı kontrol edilmelidir.
Canonical Etiketini Kontrol Edin
Sayfa kendisini canonical olarak göstermelidir:
<link rel="canonical" href="https://www.siteadi.com/ornek-sayfa/" />Eğer canonical başka bir URL’yi gösteriyorsa Google bu sayfayı dizine almak yerine farklı bir URL’yi tercih edebilir.
Sitemap ve İç Linkleri Güncelleyin
Indexlenmesini istediğiniz URL sitemap’te yer almalı ve site içinden doğal bağlantılar almalıdır. Robots.txt engeli kalktıktan sonra Google’ın sayfayı yeniden taraması beklenmelidir.
Noindex ve Robots.txt Birlikte Kullanılır mı?
Aynı URL için genellikle birlikte kullanılmamalıdır.
Çünkü robots.txt sayfanın taranmasını engeller. Noindex ise sayfa tarandığında görülebilen bir dizin dışı bırakma talimatıdır. Googlebot sayfaya giremiyorsa noindex etiketini okuyamaz.
Yanlış kurgu:
User-agent: *
Disallow: /filtre/<meta name="robots" content="noindex, follow">Bu kurguda Googlebot /filtre/ sayfalarına giremez. Bu nedenle noindex’i göremez.
Daha doğru kurgu:
User-agent: *
Allow: /filtre/<meta name="robots" content="noindex, follow">Bu durumda Googlebot sayfayı tarar, noindex’i görür ve URL’yi dizinden çıkarabilir.
Non-HTML Dosyalarda Ne Yapılmalı?
PDF, görsel, video veya farklı dosya türlerinde HTML meta etiketi kullanılamaz. Bu durumda X-Robots-Tag HTTP header kullanılabilir. Google, HTML dışı kaynakların dizine eklenmesini engellemek için X-Robots-Tag response header kullanılabileceğini belirtir.
Örnek:
X-Robots-Tag: noindexApache tarafında örnek kullanım:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch>Bu yapı özellikle PDF kataloglar, eski fiyat listeleri, özel dokümanlar veya dizine girmesi istenmeyen dosyalar için kullanılabilir.
Robots.txt İçine Noindex Yazmak Çözüm mü?
Hayır. Robots.txt içinde noindex yazmak güvenilir bir çözüm değildir. Google, robots.txt içinde daha önce bazı sitelerde kullanılan noindex, nofollow veya crawl-delay gibi desteklenmeyen kuralların resmi olarak desteklenmediğini açıklamıştır.
Yanlış kullanım:
User-agent: *
Disallow: /eski-sayfa/
Noindex: /eski-sayfa/Doğru yaklaşım:
<meta name="robots" content="noindex, follow">veya sayfa artık yoksa 404 / 410 HTTP durum kodu döndürmektir.
Search Console’da Bu Uyarı Nasıl Kontrol Edilir?
Bu uyarıyı analiz etmek için Search Console’da şu adımlar izlenebilir:
- Search Console’a girin.
- Sayfa Dizine Ekleme raporunu açın.
- “Robots.txt tarafından engelleniyor olsa da dizine eklendi” uyarısına tıklayın.
- Örnek URL’leri tek tek inceleyin.
- URL İnceleme Aracı ile canlı test yapın.
- Robots.txt engelini hangi kuralın oluşturduğunu belirleyin.
- Sayfanın dizinde kalıp kalmaması gerektiğine karar verin.
- Gerekli düzeltmeleri yaptıktan sonra “Düzeltmeyi doğrula” sürecini başlatın.
Google’ın Sayfa Dizine Ekleme raporunda, düzeltme yapıldıktan sonra Search Console üzerinden doğrulama başlatılabileceği ve Google’ın bilinen URL örneklerini yeniden kontrol edeceği belirtilir.
Hangi Sayfalarda Bu Uyarı Önemlidir?
Bu uyarı her zaman aynı derecede kritik değildir. Bazı URL’lerde ciddi SEO sorunu olabilir; bazılarında ise yalnızca temizlik yapılması gereken teknik bir uyarıdır.
| URL Türü | Risk Durumu | Ne Yapılmalı? |
|---|---|---|
| Önemli blog yazısı | Yüksek risk | Robots engeli kaldırılmalı |
| Ürün sayfası | Yüksek risk | Tarama açılmalı, index kontrol edilmeli |
| Kategori sayfası | Yüksek risk | Robots, canonical ve sitemap kontrol edilmeli |
| Filtre URL’leri | Orta risk | Noindex veya canonical stratejisi belirlenmeli |
| Site içi arama URL’leri | Orta risk | Genelde noindex tercih edilmeli |
| Sepet / ödeme URL’leri | Düşük SEO riski, yüksek güvenlik hassasiyeti | Index dışı ve mümkünse erişim kontrollü olmalı |
| Admin / panel URL’leri | Güvenlik odaklı | Robots yeterli değildir, erişim kapatılmalı |
| Eski kampanya sayfaları | Duruma bağlı | Noindex, 301, 404 veya 410 seçilmeli |
En Sık Yapılan Hatalar
Sayfayı Robots.txt ile Engelleyip Noindex Eklemek
Bu en yaygın hatadır. Noindex’in çalışması için Googlebot sayfayı görebilmelidir. Robots.txt engeli varsa Googlebot sayfaya giremez.
Tüm Engellenen URL’leri Önemsiz Sanmak
Bazı engellenen URL’ler gerçekten önemsiz olabilir. Ancak aralarında önemli kategori, ürün veya blog sayfaları varsa organik trafik kaybı yaşanabilir.
Sitemap’te Noindex veya Engellenmiş URL Bırakmak
Sitemap, arama motorlarına “bu URL’leri dikkate al” sinyali verir. Noindex veya robots.txt ile engellenmiş URL’lerin sitemap’te bulunması tutarsızlık oluşturabilir.
Canonical Etiketini Dizinden Kaldırma Yöntemi Sanmak
Canonical, Google’a tercih edilen URL’yi gösterir; ancak noindex gibi kesin bir dizin dışı bırakma yöntemi değildir.
Robots.txt ile Gizlilik Sağlamaya Çalışmak
Robots.txt bir güvenlik yöntemi değildir. Gizli veya özel sayfalar robots.txt ile korunmamalıdır. Bu tür sayfalarda giriş zorunluluğu, parola koruması veya erişim kısıtlaması kullanılmalıdır.
Çözüm İçin Pratik Kontrol Listesi
| Kontrol | Yapılacak İşlem |
|---|---|
| Sayfa indexlenmeli mi? | Önce karar verin |
| Indexlenmeli ise | Robots.txt engelini kaldırın |
| Indexlenmemeli ise | Robots engelini kaldırıp noindex’i görünür hale getirin |
| Sayfa kaldırıldıysa | 404 veya 410 döndürün |
| Sayfa gizliyse | Parola veya login koruması kullanın |
| URL sitemap’te mi? | Gereksizse sitemap’ten çıkarın |
| İç link var mı? | Gereksiz linkleri temizleyin |
| Dış link var mı? | Mümkünse yönlendirme veya kaldırma stratejisi belirleyin |
| Noindex algılanıyor mu? | URL İnceleme Aracı ile kontrol edin |
| Acil kaldırma gerekiyor mu? | Search Console URL Kaldırma Aracı kullanın |
Örnek Doğru Uygulama Senaryosu
Bir e-ticaret sitesinde filtre URL’leri Google’da görünmeye başlamış olsun:
/kadin-giyim?renk=siyah
/kadin-giyim?beden=m
/kadin-giyim?sort=priceBu URL’ler daha sonra robots.txt ile engellenmiş olsun:
User-agent: *
Disallow: /*?renk=
Disallow: /*?beden=
Disallow: /*?sort=Eğer bu URL’ler daha önce Google tarafından keşfedildiyse, robots.txt engeline rağmen dizinde kalabilir. Üstelik sayfa içine noindex eklense bile Googlebot bu URL’lere giremediği için noindex’i göremeyebilir.
Bu durumda yapılacaklar:
- Bu URL’lerin gerçekten dizinden kalkması isteniyorsa robots engeli geçici olarak kaldırılır.
- URL’lere noindex eklenir.
- Sitemap ve dahili linkler temizlenir.
- Google’ın noindex’i görmesi için URL’ler yeniden taratılır.
- URL’ler dizinden çıktıktan sonra crawl budget stratejisine göre robots.txt kurgusu yeniden değerlendirilir.
Ancak bu noktada dikkatli olunmalıdır: Eğer URL’lerin tekrar keşfedilip dizine girmesi istenmiyorsa robots.txt tek başına kalıcı dizin kontrol yöntemi olarak düşünülmemelidir. Noindex’in görülebilir kalması daha sağlıklı bir dizin dışı bırakma sinyalidir.
Robots.txt Dizin Kontrol Aracı Değil, Tarama Kontrol Aracıdır
“Robots.txt tarafından engelleniyor olsa da dizine eklendi” uyarısı, teknik SEO’da en çok yanlış anlaşılan Search Console bildirimlerinden biridir. Bu uyarı, Google’ın URL’yi bildiğini ve dizine aldığını; ancak robots.txt nedeniyle içeriği tarayamadığını gösterir.
Buradaki en kritik nokta şudur: Robots.txt ile engellenen bir sayfaya noindex eklemek çoğu zaman işe yaramaz. Çünkü Googlebot sayfaya giremezse noindex etiketini göremez.
Bu nedenle önce amacınızı netleştirmelisiniz. Sayfanın yalnızca taranmasını istemiyorsanız robots.txt kullanılabilir. Ancak sayfanın Google sonuçlarından kalkmasını istiyorsanız noindex, 404/410, parola koruması veya URL kaldırma aracı gibi yöntemler tercih edilmelidir.
Saha tecrübesinde görüldüğü gibi, bir sayfa noindex yapılmış olsa bile robots.txt ile engellendiyse Google bu değişikliği fark etmeyebilir. Bu yüzden doğru çözüm çoğu zaman önce robots engelini kaldırmak, Googlebot’un noindex’i görmesini sağlamak ve ardından Search Console üzerinden süreci takip etmektir.
Sıkça Sorulan Sorular
Robots.txt tarafından engelleniyor olsa da dizine eklendi ne demek?
Bu uyarı, Google’ın ilgili URL’yi bildiğini ve dizine eklediğini; ancak robots.txt kuralı nedeniyle sayfanın içeriğini tarayamadığını gösterir. Yani Google URL’yi keşfetmiştir fakat sayfanın içine giremediği için içerik, noindex veya canonical gibi sinyalleri okuyamayabilir.
Robots.txt ile engellenen bir sayfa neden Google’da görünür?
Robots.txt dosyası taramayı engeller, dizine eklemeyi her zaman engellemez. Bir URL site içinden, sitemap’ten veya dış bağlantılardan keşfedilmişse Google bu URL’yi içeriğini okumadan da dizinde tutabilir. Bu yüzden robots.txt tek başına dizinden kaldırma yöntemi olarak düşünülmemelidir.
Noindex ekledim ama sayfa hâlâ dizinde, neden?
Sayfa robots.txt ile engellenmişse Googlebot sayfaya erişemez ve sayfa içindeki noindex etiketini göremez. Noindex’in çalışabilmesi için Googlebot’un sayfayı tarayabilmesi gerekir. Bu nedenle aynı URL’ye hem disallow hem de noindex eklemek çoğu zaman beklenen sonucu vermez.
Bu Search Console uyarısı nasıl çözülür?
Önce sayfanın dizinde kalıp kalmaması gerektiğine karar verilmelidir. Sayfa dizinden kaldırılacaksa robots.txt engeli kaldırılmalı, sayfaya noindex eklenmeli, sitemap ve iç linkler temizlenmelidir. Sayfa dizinde kalacaksa robots.txt engeli kaldırılmalı, noindex etiketi olmadığından emin olunmalı ve URL İnceleme Aracı ile canlı test yapılmalıdır.
Robots.txt ve noindex birlikte kullanılmalı mı?
Aynı URL için genellikle birlikte kullanılmamalıdır. Robots.txt, Googlebot’un sayfaya erişmesini engeller; noindex ise sayfa tarandığında görülebilen bir dizin dışı bırakma talimatıdır. Sayfanın Google sonuçlarından kaldırılması isteniyorsa noindex görünür olmalı, yani sayfa robots.txt ile engellenmemelidir.
