Есть очень неплохая книжка, которая называется "Программирование видеоадаптеров". Хоть убей не помню авторов. По-моему это физтеховская книжка. Я начинал именно с нее. Можно сказать узнавал как оно все работает.
Для программирования 3D придется вспомнить (или изучить) линейную алгебру и припомнить геометрию. Обрати внимание на операции над матрицами и векторами. Когда поиграешься с рисованием примитивов и их преобразованием, ищи а интернете дополнительные материалы по работе с Z-буфером, светом и работой с текстурами.
На самом деле под ДОС сделать полноценное 3D достаточно долгий и кропотливый труд, но, как мне кажется, этот этап нужно пройти чтобы понимать что происходит. Въехать в проблему и возможные пути решения. В DirectX все гораздо проще, но без неких базовых знаний разобраться в терминологии будет трудновато.
Надеюсь, что помог.
