Robots.Txt Nedir ? Ne İşe Yarar ?

GüçNet

wmzilla.com
Üye
Katılım
6 Ağu 2012
Mesajlar
960
Yaş
30
Konum
Akkapı
Robots.txt çok kolay bir şekilde hazırlanabilen ve önemli bir dosyadır.Robots.txt sitenizde indekslenmesini istediğiniz ve istemediğinizi klasörleri seçmek için kullanılır.Çünkü hemen hemen her web sitesinde bazı dosyaların arama motorlarında gözükmemesi gerekir.Bunu önlemek için de robots.txt kullanılır.

Robots.txt Nasıl kullanılır?

User-agent: [ Buraya arama botunun ismi ]

Disallow:[Gizlemek İstediğiniz Dosya veya Klasör]

Örneğin bizim sitemizin ana dizininde “gizli” adında bir klasör mevcut ve biz bu klasörün Google tarafından indenkslenmesini istemiyoruz. O durumda oluşturacağımız robots.txt dosyası aşağıdaki gibi olmalıdır.
Disallow:/gizli/User-agent: Googlebot

Eğer bu klasörün hiçbir arama motoru tarafından indekslenmemesini istiyorsanız; yapmanız gereken değişiklik;

User-agent: *

Şeklinde olmalıdır.


Kaynak : http://www.bilgidede.com/webmaster/404/robots-txt-ne-ise-yarar.html

Not: Makale kendi blogumda tarafımca yazılmıştır.
 

GüçNet

wmzilla.com
Üye
Katılım
6 Ağu 2012
Mesajlar
960
Yaş
30
Konum
Akkapı
  • Konu Sahibi Konu Sahibi
  • #7
evet şimdi fark ettim bir sıkıntı var sitede kusura bakmayın.
 

proghammer

wmzilla.com
Üye
Katılım
6 Ağu 2012
Mesajlar
497
Konum
WebMaster
Robot.txt çok önemli bir faktör sakın es geçmeyin arkadaşlar..

Bu arada şifrelerinizi birbaşkalarına veriyorsanız robot.text için herhangi bir değişiklikte bulunmasınlar yanlışlıkla nofollow yazarlar Allah korusun botlar sitenize uğramaz..

Bu konuya dikkat edelim..
 

GüçNet

wmzilla.com
Üye
Katılım
6 Ağu 2012
Mesajlar
960
Yaş
30
Konum
Akkapı
Robot.txt çok önemli bir faktör sakın es geçmeyin arkadaşlar..

Bu arada şifrelerinizi birbaşkalarına veriyorsanız robot.text için herhangi bir değişiklikte bulunmasınlar yanlışlıkla nofollow yazarlar Allah korusun botlar sitenize uğramaz..

Bu konuya dikkat edelim..
haklısınız hocam katılıyorum.
 
Üst