Han var gift med Sara Collett Rinnan fra Levanger. De hadde datteren Catharina Maria, som ble gift med Schjølbergs lensmannsbetjent Peder Andreas Bernhard Opsiøn. De tok også til seg pleiebarn, deriblant nevøen Peter Rinnan, som ble stortingsmann, som sin onkel, og Fredrik Hegge, som ble Schjølbergs lensmannsbetjent og senere lensmann i Skjervøy. Schjølberg-familien bodde på Skippergården i Hamnvik.