RE: LINK PER ANALIZZARE IL FILE ROBOTS.TXT

---

Nella guida ? scritto: "? sempre consigliato creare un file robots.txt, anche quando il suo contenuto si limita a dare via libera a tutti gli spider. La sua semplice esistenza nella directory principale del sito eviter? infatti un errore 404 (file non trovato), con conseguenze che variano da server a server, a seconda della loro configurazione."

Quale sarebbero queste conseguenze , qualcuno lo sa ? E un' altra curiosit? : come sapere che cosa si trova scritto nel file robots.txt contenuto in quei siti che non permettono la visione diretta del file sopramenzionato ( e perch? ci? avviene ) ?