Я лично читаю
CHM:
KchmViewer - я недавно скачал всё, что смог найти, позволяющее читать chm под гну/линукс, так вот у этой лучший функционал и лучшая совместимость. Нет никаких проблем с кодировками - ни в основном окне (там их ни у кого вроде нет), ни в заголовках, ни в содержании.
DJVU:
DjVuLibre DjView 4.0 - быстрая, удобный неперегруженный интерфейс - вопчем, лучшая. Единственный минус (для кого, но мне всё равно) - английский интерфейс.
PDF: Несмотря на разнообразие программ, как и в винде, лучше всего pdf читает все-таки продукция компании Adobe. Наиболее быстро рендерит странички и поддерживает всё, что в них есть. Как бы это ни было странно, но у меня быстрее и лучше работает Adobe Acrobar Reader, запущенный под wine...

Странно, конечно...

Но им и читаю. А в остальных - жди, пока страничка загрузится, особенно, если документ мегов на 100. И это на двухядерном проце от интела...
p.s. пока читал и писал топик, скачал и потестил evince. Что могу сказать - похужее Ридера 6го будет, похужее...