teoricamente non dovrebbero nemmeno guardare file e cartelle escluse con il robots.txt
lo spider e' una macchina che ha una "lista di indirizzi" da visionare..... col robots te gli dici di "eliminare" dalla lista questi url... e lui non li visiona