Сами данные записываются по разному. Тип данных указан в заголовке. Данные могут быть (на сколько помню) 8/16/32 бита целочислинные или 32 бита с плавающей запятой. Соответственно и читать их лучше не "по 4 байта" и иметь геморрой с преобразованием, а как указано в заголовке. Кроме этого не забывай про моно/стерео/квад потоки - для моно потока сэмплы идут один за другим, а в стерео чередуются.
А и еще. Описания формата заголовка на многих сайтах противоречивы и неправильны. Так что смотри в хекс-едиторе пока не будет совпадения
