Han var sønn av skolebestyrer Johannes Marius Hartmann (1869–1946) og Astrid Magnus (1884–1967). Broren Christian Hartmann (1910–85) ble komponist. I 1941 giftet Alf seg med Berit Jensen.