Robots.txt Nedir? Ne işe yarar?

robots.txt dosyası arama motorlarının sitenize gönderdiği botların nereleri ziyaret edeceğini belirtir sitenizi indexleme ile doğrudan alakası yoktur. Botlar robots.txt dosyasında yasakladığınız yerlere yasaklamanıza rağmen girebilir sayfaları istemeseniz bile indexleyebilir ancak siz robots.txt dosyasında buraları dolaşma dediğiniz için google aramalarında sayfalar açıklamasız olarak görünür (hatalı bir kısıtlama yaparsanız indexlenmesini istediğiniz sayfalar açıklamasız olarak indexlenecek ve dolaylı olarak arama sonuçlarınız olumsuz etkilenmiş olacaktır) açıklama yazan bölümde "Bu sayfada bilgi yok. Nedenini öğrenin" diye hata mesajı görünür Google Search Consol'dan baktığınızda bu hatanın sebebinin robots.txt kısıtlamasından kaynaklandığını görürsünüz. Eğer bu uyarıyı göremiyorsanız birkaç gün beklemeniz gerekebilir çünkü sistem birkaç gün gecikmeli çalışıyor. Sayfanızın google veya diğer arama motorları tarafından indexlenmesini istemiyorsanız sitenizde noindex etiketini kullanmalısınız noindex etiketinin bulunduğu sayfalar botlar tarafından indexlenmez. Şuan aklınızdan şu geçiyor olabilir "ee ozaman tüm sitemizi gezsin neden kısıtlamaya çalışıyoruz" aslında haklısınız ancak robots.txt kullanmanın iki sebebi var birincisi botlar sürekli sitenizi ziyaret eder eğer siteniz büyük ve sürekli güncelleniyorsa o zaman botlar sitenizden neredeyse çıkmaz diyebiliriz buda doğal olarak band genişliği oluşturur ve size masraf olarak dönebilir. İkinci sebebi ise botlar içindir botlar da iş yükünden kurtulmak, işini bitirip bir an önce gidebilmek için site sahibi tarafından önemli yerlerin gösterilerek yönlendirilmeyi ister. Arama motorları robots.txt kullanmayan siteleri sevmez bunu ciddi bir eksiklikmiş gibi düşünür (aslında bunun altında beni düşünmeyeni ben hiç düşünmem mantığı yatıyor). Madem robots.txt kullanmak zorundayız o zaman trafiğinizi harcamayan, hem sizin hemde botların işine yarayacak bir robots.txt oluşturalım. Devamı "robots.txt nasıl oluşturulur" başlıklı yazımızda.