Thoresen ble gift med Anna Ramstad 17. februar 1816 i Domkirken i Christiania. De var bl.a. foreldre til Augusta Paus' f. Thoresen, gift i 1865 i Genève med Bernhard Cathrinus Pauss.