Bugün sizlere, sayfalarınızın Google indekslerinde yer almasını engellemek için mevcut 2 bloklama metodlarının arasındaki farktan bahsedeceğim. Bildiğiniz üzere Google'ın bir sayfa, dizin, çeşitli mime türleri veya çeşitli uygulama ve yönetim panelinizi indeklerine almaması gerektiğini söylemek için 2 yol var. Bunlardan birincisi robots.txt dosyası üzerinden disallow komutunu uygulamak; diğeri ise "noindex,nofollow" parametrelerini kullandığımız robots metatagı.
E-Ticaret siteleri ağırlıklı olmak üzere çeşitli parametrelerle veri çeken sayfalarda, kullanım kolaylığı sağlaması açısından genellikle robots.txt kullanılıyor. Fakat bazen insanlar neden bunu metatag 
ile yapılmaması gerektiğini veya yapılmadığını soruyor? Bunun nedenini şu şekilde açıklayayım:
Robots.txt: Googlebotlar ortalama günde 1 defa bu dosyayı indirir ve verilen direktifler doğrultusunda tarama işlemini gerçekleştirir. Bu yüzden buradan engellenen dosyalar google tarafından ziyaret edilmeden pas geçilir. Robots.TXT dosyasının kullanımını daha önce anlatmıştım.
Metatag: Googlebot bir sayfayı taramak için içine girer ve metatag'da belirtilen direktifler doğrultusunda yoluna devam eder (nofollow,noindex - follow,noindex gibi). Eğer sayfalarınızı metatag ile nofollow, noindex demeniz gerekiyorsa, server masraflarınızı minimize etmek için engellemeyi robots.txt dosyasından gerçekleştirmeniz öneririm. Böylelikle googlebot gereksiz yere sayfanızı indirmeyecek ve bandwidth tasarrufu sağlamış olacaksınız.
Özetle metatagdan verilecek nofollow direktifinin uygulanması için sayfanın bot tarafından çekilmesi gerekiyor. Ayrıca gereksiz bir kaynak kod oluşturacağı için noindexlerinizi, robots.txt dosyasından engellemenizde yarar var. Aslında daha önceden kullanmama rağmen engelleme işlemi için 3üncü yol, HTTP response header ile "X-Robots-Tag: noindex" bilgisi göndermeniz. Bu yolu kullanmak henüz nasip olmadı fakat az önce robots.txt için yaptığım açıklama önemini korumaktadır.
Bu yazıyı kaynak göstermek koşulu ile sayfalarınızda yayınlayabilirsiniz.
SEO Teknikleri
