Mack begynte i Bundesgrenzschutz (en forløper til det føderale politiet Bundespolizei) i 1952 og ble offiserskadett i Bundeswehr i 1956. Han ble utdannet generalstabsoffiser fra 1962 til 1964 og tjenestegjorde i pansertroppene. Han ble oberst og kommandant for panserbrigade 14 i 1972. I 1975 ble han brigadegeneral og sjef for Pansertroppenes utdanningssenter. I 1978 ble han generalmajor og kommandant for 6. pansergrenaderdivisjon. Han var stabssjef i Hærstaben fra 1979 til 1981.