Thoresen var gift tredje gang med forfatteren Magdalene Kragh (1819–1903). Magdalene tok i 1842 mot tilbud om å være guvernante hos Thoresen som tok i mot henne i Christiania 4. oktober 1842 da han var der i forbindelse med Stortingets møte. Magadelene reiste våren 1843 tilbake til København og fødte i juni 1843 sønnen Peter Axel som ble satt bort. Grimur Thomsen regnes som far til Peter Axel, selv om det er teoretisk mulig at Thoresen var faren. Hun kom tilbake til Herøy og giftet seg i oktober 1843 med Thoresen. Magdalene ble slik stemor til Susanna Ibsen og fire andre barn, og hun fikk fire barn med Hans Conrad. Magdalene beskrives som en myndig og forståelsesfull mor og stemor.