Robots.txt çok kolay bir şekilde hazırlanabilen ve önemli bir dosyadır.Robots.txt sitenizde indekslenmesini istediğiniz ve istemediğinizi klasörleri seçmek için kullanılır.Çünkü hemen hemen her web sitesinde bazı dosyaların arama motorlarında gözükmemesi gerekir.Bunu önlemek için de robots.txt kullanılır.
Robots.txt Nasıl kullanılır?
User-agent: [ Buraya arama botunun ismi ]
Disallow:[Gizlemek İstediğiniz Dosya veya Klasör]
Örneğin bizim sitemizin ana dizininde gizli adında bir klasör mevcut ve biz bu klasörün Google tarafından indenkslenmesini istemiyoruz. O durumda oluşturacağımız robots.txt dosyası aşağıdaki gibi olmalıdır.
Disallow:/gizli/User-agent: Googlebot
Eğer bu klasörün hiçbir arama motoru tarafından indekslenmemesini istiyorsanız; yapmanız gereken değişiklik;
User-agent: *
Şeklinde olmalıdır.
Kaynak : http://www.bilgidede.com/webmaster/404/robots-txt-ne-ise-yarar.html
Not: Makale kendi blogumda tarafımca yazılmıştır.
Robots.txt Nasıl kullanılır?
User-agent: [ Buraya arama botunun ismi ]
Disallow:[Gizlemek İstediğiniz Dosya veya Klasör]
Örneğin bizim sitemizin ana dizininde gizli adında bir klasör mevcut ve biz bu klasörün Google tarafından indenkslenmesini istemiyoruz. O durumda oluşturacağımız robots.txt dosyası aşağıdaki gibi olmalıdır.
Disallow:/gizli/User-agent: Googlebot
Eğer bu klasörün hiçbir arama motoru tarafından indekslenmemesini istiyorsanız; yapmanız gereken değişiklik;
User-agent: *
Şeklinde olmalıdır.
Kaynak : http://www.bilgidede.com/webmaster/404/robots-txt-ne-ise-yarar.html
Not: Makale kendi blogumda tarafımca yazılmıştır.
