Han ble gift i 1794 med Hedevig Christine Paus, datter av skoginspektør i Øvre Telemark Cornelius Paus. Svigerfaren Cornelius Paus var fetter av Altenburgs stefar Bomhoff. Cornelius Paus ble beskrevet som «en sjelden snil og god Mand» og flyttet inn hos datteren og svigersønnen i sitt siste leveår, og døde i Altenburggården i 1799. Samme år flyttet Johan Andreas Altenburgs søster Kristine Cathrine Ploug (kalt «faster Ploug» i Altenburg- og Ibsenfamilien) inn hos dem.