Просмотр закрытых страниц

[ВЕДУЩИЙ]

На сайтах есть страницы, никак не отображающиеся в браузере. Как пример - dhis.dgu.ru. На начальной странице - ни одной ссылки. Однако, если попасть на dhis.dgu.ru/rel1.htm или rel2.htm увидишь несколько иное. Вопрос - чем просмотреть эти скрытые страницы. Пробовал скачать весь сайт Offline Explorer, просмотреть "Обозревателем сайта" FlashGet - ничего не получается. Вроде и нет ничего, кроме первой страницы. Но оно то есть!
Так вот - какой программой увидеть и скачать все страницы таких сайтов. Только одна просьба - попробуйте на указанном урле, а не просто предлагайте какие-либо качалки...

[KomatoZo]

То есть, насколько я понимаю, Вы желаете увидеть те страницы, которые есть, но на них нет нигде на основной странице ссылок?
Хммм... Насколько я понимаю, правильно настроенный сервер просто не даст этого сделать. Неправильно настроенный может выдать список файлов в директории. Других способов нет, если я прав.
Гуру, читавшие RFC относительно HTTP1.1 - поправьте меня.

[ВЕДУЩИЙ]

KomatoZo:
Вы желаете увидеть те страницы, которые есть, но на них нет нигде на основной странице ссылок?

Именно.А через поисковик как нибудь найти?

[Naked]

ВЕДУЩИЙ:
А через поисковик как нибудь найти

если пользователь не хочет тебе эти страницы показывать, то ты их и не посмотришь, в поисковике они проиндексируются если есть файл robot.txt и эти страницы там указаны.... а так только по ссылкам, если ссылок нет - то посмотреть не можешь...

[Xpl0rer]

Гугль форева
Вбей в строку поиска следующее:

allinurl:htm site:dhis.dgu.ru

А вообще-то это результат использования расширенного поиска.

Ну а что касается других сайтов, то если на сервере включен листинг директорий, то можно найти скрытые страницы следующим образом:
Пускай мы знаем адрес "сайт.ру/каталог/файл.хтмл" заходим браузером по адресу "сайт.ру/каталог/" и можем обнаружить еще несколько файлов, даже если на них нигде нет ссылки, а сайт закрыт для индексации.

[Tano]

Дело в том, что обычно для того, чтобы "не было видно" что лежит в данной директории, но было доступно просто кидают пустой index.html..поэтому и открывается пустая страница.

[vovik]

Xpl0rer:
Вбей в строку поиска следующее:
allinurl:htm site:dhis.dgu.ru

Для того чтобы это сработало Гугл должен эти страницы найти и проиндексировать. А для этого в свою очередь нужно, чтобы на них были ссылки или хоть какие-нибудь упоминания.
Не думаешь же ты, что поисковик перебирает все возможные имена директорий и файлов? этакий брутфорс

[Tano]

Имеется ввиду, что саму директорию просмотреть нельзя..т.е. index.htm просто без ссылок..но это же не значит, что в этой директории больше ничего нет?

[KomatoZo]

Обычно для того, чтобы нельзя было просмотреть содержимое просто соответствующим образом настраивают веб-сервер. И вместо пустой страницы Вам будет гордо светить "Access Denied" =)

[Tano]

Это понятно..даже не веб-сервер, а просто права доступа на папку..с другой стороны надо же, чтобы были доступны другие файлы из директории.

[KomatoZo]

Tano
Вы меня не поняли. Есть возможность именно запретить смотреть листинг файлов. А сами файлы смотрите сколько влезет, если знаете как они называются.

[Tano]

А, тогда согласен. Извините, не знал)
Но в данному случае это скорее относится к случаю с пустым индехьом..поэтому в поисковике найти файлы этой директории не должно составлять особого труда.

[Xpl0rer]

vovik:
Не думаешь же ты, что поисковик перебирает все возможные имена директорий и файлов?

Не поленись
http://www.google.com/search?hl=en&q...=Google+Search

[vovik]

Xpl0rer:
Не поленись

Аналогично. Советую для начала почитать мой пост

vovik:
А для этого в свою очередь нужно, чтобы на них были ссылки или хоть какие-нибудь упоминания.

То, что эти ссылки находятся поисковиками говорит только о том, что на эти страницы существуют ссылки. Это подверждается и тем, что по тексту страница находится и другими поисковиками.
А те критерии поиска, которые ты предлагаешь использовать, всего лишь отфильтровывают страницы сайта, на которые нет внутренних (со страниц сайта) ссылок.
В конкретном случае это прокатило и где-то прокатит еще, но далеко не везде.

[Xpl0rer]

вовик:
В конкретном случае это прокатило

Ну так и топикстартер просил:

ВЕДУЩИЙ:
попробуйте на указанном урле

ИМХО на конкретный вопрос - конкретный ответ

[vovik]

Xpl0rer:
ИМХО на конкретный вопрос - конкретный ответ

А вот полная цитата:

ВЕДУЩИЙ:
Так вот - какой программой увидеть и скачать все страницы таких сайтов. Только одна просьба - попробуйте на указанном урле...

Итак, скачать с разных сайтов, а этот только для пробы/примера.

[Xpl0rer]

Так - этот способ подходит для многих подобных сайтов? Или будем спорить?
Автор получил ответ на свой вопрос или нет?
Ты пишешь:

vovik:
Для того чтобы это сработало Гугл должен эти страницы найти и проиндексировать.

А оно прикинь - работает, и я рад за топикстартера что Гугль это умеет.
Ешё раз - спрашивающий получил реальный способ, а не объяснения почему это невозможно.
Претензии к моему посту - к модеру или в личку.
Dixi.