[dM0d]

H.264 на сегодняшний день считается лучшим по соотношению размер/качество.
Но вообще такие вопросы задавать несколько наивно в силу их абстрактности. =)
Насчет Xvid и его настроек подробно написано
здесь, правда на английском.