Han var sønn av forretningsmann og godseier Hans Holtermann og Margrete Knudsdatter Wiig. Boet etter moren ble skiftet da Knut Holtermann var 9 år og omfattet brutto 4457 riksdaler, jordegodset hadde en verdi av 2634 riksdaler. Stemoren Ingeborg Cathrine Holtermann født Hagerup (1730–1796) var grandtante til Colbjørnsens kone og til Hans Hagerup Falbe som også var dommer i høyesterett. Han var gift med Ursulla Beate Linde (1757-1782) som døde på barselseng. Datteren med samme navn ble gift med Fredrik von Linstow. Holtermann var ridder av Danebrog.