Han giftet seg 30. september 1797 i Botne med sin kusine Karen Mathea Krefting Bull. Et av deres barn var maleren Matthias Stoltenberg (1799–1871).