Robots.txt Nedir? Nasıl Kullanılır?

Bu yazımızda “Robots.txt Nedir? Nasıl Kullanılır?” konusuna değineceğiz. Öncelikle arama motoru botlarının asıl amacı bir web sitesinin sayfalarını taramak ve arşivlemektir. Örneğin web sitenizin bazı sayfalarında bulunan içerikleri arama motoru botlarının erişimine kapatmak isteyebilirsiniz. Bunun için robots.txt dosyası sizlere yardımcı olacaktır. Peki “Robots.txt” nedir? Gelin birlikte inceleyelim.

1- Robots.txt Nedir?

Robots.txt, tüm arama motorlarının baktığı, web sitelerinin hangi sayfalarının indekslenip, hangi sayfalarının indekslenmemesi gerektiğini söyleyen dosya olarak tanımlanır. Arama motorları yazılımları web sitenizi tararken öncelikle “txt” dosyasını tarar ve dosyada belirtilen komutlar doğrultusunda sitedeki izin verilen kısımları dizinine ekler.

Robots.txt dosyası

2- Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyasını oluşturmak için iki yöntem bulunmaktadır. İlk yöntem olarak, ücretsiz olan robots.txt araçlarından bu dosyayı oluşturabilirsiniz. İkinci yöntem olarak ise, Robots.txt dosya oluşturma işlemini kendiniz yaparak kök dizinine eklemeniz gerekir. Ayrıca hata yapma riskini minimuma düşürmek için arama motorları üzerinden “robots.txt generator” gibi aramalar sonucu hazır dizinler üzerinden düzenleme yapabilirsiniz.

Örneğin bir site sahibi robots.txt dosyasını kendi oluşturmak istiyor. Öncelikle yapılması gereken işlem yeni bir metin belgesi oluşturarak ismini “robots.txt” olarak değiştirmelidir.
Ayrıca bu dosyalarda “User-agent” ve “Disallow” gibi değişkenler bulunmaktadır.

User-agent: Arama motorunun adını göstermektedir.
Disallow: Arama botlarının izin durumunu gösteren komut alanıdır.

Robots.txt dosyasını oluşturmak için bazı kurallar bulunmaktadır; bu kuralların ilki, “txt” dosyasının mutlaka “site kök dizinine” eklenmesi gerekir. Diğeri ise, “dosya ile web sitesinin URL formatının aynı” olmasına dikkat edilmelidir. Bir de “Robots.txt” dosyası UTF-8 türündeki kodlamaya göre düzenlenmelidir. Robots.txt dosyası için belirlenen ismin uzantısı, web sitenize olan erişim alan adı ile aynı olmalıdır.

Robost.txt dosya kullanım örneği:

Yanlış Kullanım Şekli: https://argenova.com.tr/main.robots.txt
Doğru Kullanım Şekli: https://argenova.com.tr/robots.txt

3- Robots.txt Nasıl Kullanılır?

Aşağıdaki bazı örnekler Robots.txt dosyasını nasıl kullanmanız gerektiği konusunda sizlere yardımcı olacaktır.

1- Aşağıdaki örneğimizde arama motoru robotu “yeni” dizinini taramadan sadece “yeni değil” sayfasını tarayabilir. Çünkü “yeni” dizini erişime kapalı olduğu için sadece “yeni- degil.html” sayfasına erişim sağlanmaktadır.

User-agent: *
Disallow: /yeni/
Allow: /yeni/yeni-degil.html

2- Aşağıdaki örnekte, sadece Googlebot’un “yeni” dizinine olan erişimi engellenmiştir. Bu sayede Googlebot dışındaki tüm arama motoru robotlarının siteye erişimi tamamen engellenmiş olur.

User-agent: googlebot
Disallow: /yeni/
User-agent: *
Disallow: /

3- Aşağıdaki örnekte, Googlebot’un “yeni” dizinine olan erişimi ve Google görsel bot’un “yeni” ve “grafik” dizinine olan erişimi de engellenmiştir.

User-agent: googlebot
Disallow: /yeni/
User-agent: googlebot-images
Disallow: /yeni/
Disallow: /grafik/

Kısacası arama motorları, siteler ile ilgili bilgi edinmek ve arşivleme gibi durumlarda sitede bulunan sayfalara bakmaktadır. Bir web sitesinin indeks sınırları robots.txt dosyası ile düzenlenebilir. Siz de sitenizde görülmemesini istediğiniz sayfaları “txt” dosyası ile sınırlandırabilirsiniz.

Keyifli okumalar dilerim.