Paust fikk tre sønner i sitt første ekteskap. I 1992 giftet han seg for andre gang, da med Anne Orderud Paust, som var forsvarsministerens personlige sekretær. Hun ble drept drøyt to uker etter sin manns død, i det som ble kjent som Orderudsaken.