LINK PER ANALIZZARE IL FILE ROBOTS.TXT

---

molti non lo utilizzano,ma se si vuol tenere fuori da occhi indiscreti cartelle alle quali non si vuole far avere accesso ai motori di ricerca lo consiglio.
questo e' il link all'interno ce' una guida se non siete pratici nel crearlo

http://tool.motoricerca.info/analizzatore-robots.phtml