Da Sara døde i 1841 fikk Thoresen hjelp av hennes ugifte søster Marie Daae til å ta seg av barna. Marie ble med til Bergen da familien flyttet dit og reiste senere til sin bror på Solnør. Thoresen og Sara fikk fem barn: Johan Herman Thoresen (1832-1914) Marie Sophie Thoresen (1834-1874) Susanna (Suzannah) Daae Thoresen (1836-1914) Hans Conrad Thoresen (1837-1889) Anne Sophie Thoresen (1839-1920) Susanna ble gift med Henrik Ibsen. Sønnen Johan Herman Thoresen var jurist og dommer i Høyesterett fra 1884 til sin død (da Paal Berg tiltrådte var Thoresen fortsatt dommer). Aage Schavland overtok som sogneprest i Herøy da Thoresen flyttet til Bergen. Schavlands datter Anne Kristine var gift med Ludvig Daae (1829–1893), Susannas fetter og datter av av Saras bror.