|
ага! а ещё круче когда веб-мастер делает скеретные ссылки допустим белым по белому! или впендюривает их в одному ему известное место на веб-паге.
Но даже на такие случаи у веб-паги должна быть хоть какая-то защита от ХОТЯ БЫ легальных роботов. она так и называется - robots.txt
Она разрешает или запрещает тем или инным поисковым роботам смотреть те или инные линки на странице. Но дело - то в том что это тока на легальных действует. да наверное и то не на всех. а если надо просканить нужных сайт, то написать краткий поисковик для конкретного случая при необходимости можно всегда!
Поэтому визуальная защита сайтов - брехня. ну а Google соответственно - РУЛЕЗ!
|