Изучи готовые решения...
Информации в инете полно:
http://www.bearcave.com/dxf/sier.htm
http://www.bearcave.com/dxf/sier2_notes.htm
Под Мак (скринсэйвер "с доступными исходниками")
http://www.epicware.com/macosxsavers.html
http://www.cs.usask.ca/home/aam396/opengl/
http://www.andrewtop.com/IFS3d/IFS3d.html
http://www.opencroquet.org/index.php/Fundamental_Classes
По последней ссылке - готовый класс для рендеринга.
По предпоследней - краткая инструкция.
Мало ссылок - можно воспользоваться Гуглем!
Upd: алгоритм более подробно, насколько я понял...
http://www.emis.de/journals/JGAA/accepted/02/GajerKobourov02.6.3.pdf