Есть такой сайт -
SiliconPenguin.com, посвященный реализации различных девайсов с embedded linux и, в частности, на нем же есть раздел
Embedded Linux Distributions со списком дистрибутивов, специально предназначенных для решения подобных задач. Посмотри, повыбирай. К примеру,
Etlinux - 386SX, 2MB RAM, 2MB HDD, или
Freesco - floppy-size дистриб, ориентированный на применение в роутерах.
Насчет носителей - встречал версии для запуска с flash, hdd, floppy. Полагаю, можно сделать вариант с прошитым в ROM линуксом, при запуске создающем ramdisk и далее запускающимся уже с него. Все зависит от того, что ты хочешь и что у тебя есть из железа.