Familien flyttet til Bergen hvor Hans Conrad Thoresen ble prost i Korskirken. Suzannah Ibsens stemor ble senere en berømt forfatter.