Все мои поиски свелись к тому, что есть т.н. матричный алгоритм, но кроме названия мне не удалось ничего найти
Есть мысли по поводу анализа цветов, но тут все сложно настолько, что мысли в страхе разбегаются
По поводу ограничений - нужно получить в конечном итоге контуры, можно вертексы и сплайны. Причем на данном этапе развития абсолютно не важна скорость обработки. Все что можно оптимизировать - нужно для начала придумать.