Som enkemann leide han Birgitte Christine Daae, datter av presten Johan Christopher Haar Daae, til husholderske. I 1830 giftet Thoresen seg med Birgittes yngre søster Sara Margrethe Daae (6. april 1806 - 10. mai 1841). Birgitte flyttet deretter til broren Ludvig Daae på Solnør der hun bestyrte husholdningen.