Mittag ble født inn i en arbeiderklassefamilie. Fra 1943 var han hjelpemann i et Flak-regiment i Luftwaffe. Fra 1943 til 1945 tok han sin utdannelse hos Deutsche Reichsbahn. I 1956 tok han et fjernstudium og ble slik diplomøkonom. I 1958 ble han Dr. rer. oec. i Dresden ved Hochschule für Verkehrswesen med arbeidet «Die Überlegenheit der sozialistischen Organisation und Leitung im Eisenbahnwesen der DDR gegenüber dem kapitalistischen Eisenbahnwesen».