Johan Andreas Altenburg og Hedevig Paus var foreldre til Christine Altenburg (f. 1798) og Marichen Altenburg (f. 1799). Christine Altenburg ble gift i 1827 med skipskaptein John Stenersen; Marichen Altenburg ble gift i 1825 med kjøpmann i Skien Knud Ibsen, som samme år etablerte seg som selvstendig trelasthandler. Nevøen Henrik Johan Paus, som var jevngammel med sin kusine Marichen og som også var Knud Ibsens halvbror, bodde hos onkelen og tanten i Altenburggården i rundt ti år fra femårsalderen (1804).