Han var gift tre ganger og hadde fem barn. Altmans sønn, Mike Altman, skrev teksten til Johnny Mandels kjenningsmelodi til , «Suicide Is Painless», da han var 14 år. På grunn av tekstens innhold ble bare en instrumental benyttet i den senere TV-serien som gikk over 11 år fra og med 1972.