Post Singolo : RE: LINK PER ANALIZZARE IL FILE ROBOTS.TXT - W3C - Accessibilità - Qualita - Creazione Siti Web

RE: LINK PER ANALIZZARE IL FILE ROBOTS.TXT

omega ha scritto:

E un' altra curiosit? : come sapere che cosa si trova scritto nel file robots.txt contenuto in quei siti che non permettono la visione diretta del file sopramenzionato

Scrivi http://www.nomesito.it/robots.txt (dovrebbe funzionare con tutti i siti che lo utilizzano!

bluroy ha scritto:

comunque serve a poco e niente perche' gli spider lo ignorano come quando nel meta tag metti index no follow ,alla fine se vogliono vedono ugualmente tutto cio' che hai nel sito

Su questo non sono molto daccordo: se vogliono li prendono per? credo non li indicizzano...