линия что втыкается в модем используется в обычное время для входящих звонков? если да то вполне возможно что когда твой модем подключен к внешней линии то в этот момент поступает входящий звонок... модем снимает трубку а вернуть ее обратно забывает. ... возможные причины
1. Залипает реле на модеме (у меня такое было неоднократно) лечится перепайкой реле на другое.
2. драйвера модема некоректоно определяют сигнал занято. (попробуй поискать другие драйвера на твой модем)
3. ну и может модем конфликтует с другим устройством (попробуй воткнуть в другой pci слот).
4. оставить внешний модем
имхо лучший вариант