Han var født i Herøy av foreldre prost Hans C. Thoresen og Sara Margrethe Daae, og var igjennom søsteren Suzannah svoger av Henrik Ibsen. Han var fetter av politiker og jurist Ludvig Daae. Moren Sara døde i 1841 og faren giftet seg i 1843 med Magdalene Kragh som senere ble en kjent forfatter. Familien flyttet i 1844 til Bergen og Thoresens bolig ved Domkirken ble et sentrum for kulturlinteresserte i Bergen inkludert Henrik Ibsen, Bjørnstjerne Bjørnson og Karoline Reimers.