Robot.txt nedir ?
Bu içerik " Robot.txt nedir ? " sorusunu cevaplar ve Google index hakkında bilgiler sunar.
Robot.txt nedir ?
Robots.txt, web yöneticilerinin web robotlarına (genellikle arama motoru robotları) web sitelerindeki sayfaların nasıl taranacağını bildirmek için oluşturdukları bir metin dosyasıdır. Robots.txt dosyası, robotların web'i nasıl taradığını, içeriğe erişme ve dizine ekleme şeklini düzenleyen ve bu içeriği kullanıcılara kadar sunan bir web standartları grubu olan robot dışlama protokolünün (REP) bir parçasıdır. REP ayrıca meta robotlar gibi yönergelerin yanı sıra arama motorlarının bağlantıları nasıl ele alması gerektiğine ilişkin sayfa, alt dizin veya site genelindeki yönergeleri de içerir ("takip et" veya "nofollow" gibi).
Pratikte robots.txt dosyaları belirli kullanıcı aracılarının (web tarama yazılımı) bir web sitesinin bölümlerini tarayıp tarayamayacağını belirtir. Bu tarama talimatları, belirli (veya tüm) kullanıcı aracılarının davranışına "izin vermeyerek" veya "izin vererek" belirtilir.
Bir web sitesine geldikten sonra, ancak onu taramadan önce, arama tarayıcısı bir robots.txt dosyası arayacaktır. Bir tane bulursa, tarayıcı sayfaya devam etmeden önce o dosyayı okuyacaktır. Robots.txt dosyası hakkında bilgi içerdiğinden nasıl arama motoru taramamalıdır, bilgi bu özel sitede ayrıca paletli eylemini orada talimat verir bulundu. Robots.txt dosyası yoksa değil kullanıcı vekilin aktivitesini izin vermemek herhangi direktifleri ihtiva (Sitede bir robots.txt dosyası yoksa veya), bu sitedeki diğer bilgi taramasını devam edecektir.