Post Singolo : RE: LINK PER ANALIZZARE IL FILE ROBOTS.TXT - W3C - Accessibilità - Qualita - Creazione Siti Web

RE: LINK PER ANALIZZARE IL FILE ROBOTS.TXT

gokufg ha scritto:

bluroy ha scritto:

comunque serve a poco e niente perche' gli spider lo ignorano come quando nel meta tag metti index no follow ,alla fine se vogliono vedono ugualmente tutto cio' che hai nel sito

Su questo non sono molto daccordo: se vogliono li prendono per? credo non li indicizzano...

teoricamente non dovrebbero nemmeno guardare file e cartelle escluse con il robots.txt
lo spider e' una macchina che ha una "lista di indirizzi" da visionare..... col robots te gli dici di "eliminare" dalla lista questi url... e lui non li visiona