Herhangi bir özel davranış belirlemek istemiyorsam, bir robots.txt dosyasına sahip olmak istemiyorsam sorun değil mi?
Herhangi bir özel davranış belirlemek istemiyorsam, bir robots.txt dosyasına sahip olmak istemiyorsam sorun değil mi?
Yoksa birinin eksikliği zararlı olabilir mi?
Bir robots.txt dosyasının olmayışı zararlı olmayacaktır. robotstxt.org web sitesi 'den:
Tüm robotların tam erişimine izin vermek için
Kullanıcı ajanı: *
[. .____] izin verme:(veya sadece boş bir "/robots.txt" dosyası oluşturun ya da hiç kullanmayın)
Ancak, robots.txt dosyanızda herhangi bir şey belirtmemiş olsanız bile, bu iyi bir yöntemdir arama motorlarını XML Site Haritanızın bulunduğu yer hakkında bilgilendirmek . Bunu, robots.txt dosyanızın en üstüne bir satır benzeyen bir çizgi ekleyerek yapabilirsiniz:
Site Haritası: http://www.example.com/sitemap-Host1.xml
Ayrıca, sahip olmamanızın web kayıtlarınızda çok sayıda 404 giriş oluşturacağının farkında olmalısınız.
Eğer "robots.txt" kodunuz yoksa, hata günlüğünüz dosyada çok fazla 404s alacaktır, bu da bir faviconunuz olmasa da bir tür sıkıntı olabilir.
Bence sahip 'in iyi olacağını, aksi halde webin büyük alanlarının web örümcekleri tarafından endekslenemeyeceğini düşünüyorum.
Hayır robots.txt, "herkesin indekslemesine izin ver" _ ile aynı değildir [robots.txt neredeyse tanımı gereğidir.
Bir robots.txt dosyasının olmayışı, ne yapıp yapamayacağına karar vermek için tarayıcıya bırakır. Herhangi bir belirsizlikten kaçınmak sadece birkaç saniye sürdüğü için, neden tüm ajanların her şeye erişmesine izin veren bir kişi olmasın?
Eh, robots.txtsitemap adresinizi içerdiğinden, birine sahip olmamanın zararlı olması muhtemel.
İçeriğinize bağlı olarak, sitenizdeki her sayfanın arama motorları tarafından endekslenmesini istemediğiniz sürece bir robot dosyasına sahip olmayla ilgili herhangi bir sorun olmamalıdır.