Johan Andreas Altenburg var født på Lille Ulefos og var sønn av sagbruksforvalter Diderik Altenburg (1719–1766) og Marichen Johansdatter Barth (1737–1769). Hans farfar var trelasthandler og sagbrukseier i Skien Jochum Altenburg (1684–1745). Foreldrene Diderik og Marichen ble gift 20. mars 1760 på Ulefoss, men begge døde tidlig. Moren ble gift i 1767 i andre ekteskap med fenrik (Fredrich) Engebreth Christopher Blom Bertelsen Bomhoff (1737–1800), sønn av jernverksforvalter på Ulefoss Bertel Engebretsen Bomhoff og Maren Christophersdatter Blom. Etter morens død ble Johan Andreas og søsknene boende med stefaren.