Robots.txt: Arama motorlarının bir web sitesini taraması veya belirli bölümlerini engellemesi gerekip gerekmediğini belirten bir dosya.