Altenburg ble født i Schneidemühl, Grenzmark Posen-Westpreußen (dagens Pila i Polen) og ble mot slutten av andre verdenskrig skrevet ut som («marinehjelper») i 1944 og tjenestegjorde på Helgoland. Etter å ha blitt løslatt fra britisk krigsfangenskap etter krigen fullførte han hotellfaglig utdannelse og ble frivillig i Bundeswehr i 1956 i artilleriet.