Holtermann var i første ekteskap gift med Margaretha Wiig (Margrete Wig) som ved bryllupet var 42 år gammel. Magrete Wig var tante av Holtermanns svoger Iver Høegh slik at Holtermann og søsteren Anna gjennom ekteskap ble knyttet til samme familie.