Han ble gift i 1784 med Anne Kathrine Olsen (død 1839), og var far til Halvor Aschehoug samt farfar til rettsfilosofen Torkel Halvorsen Aschehoug.