Hartmann begynte militærtjenesten i Luftwaffe 1. oktober 1940. I 1945 ble han tatt som sovjetisk krigsfange og satt i sovjetiske krigsfangeleirer helt til 1955, da Vest-Tyskland og Sovjetunionen inngikk en avtale om repatriering av de siste krigsfangene. Under krigsfangenskapet motstod han forsøk på å omvende ham til kommunismen. Den russiske føderasjon ba om unnskyldning for behandlingen av Hartmann i 1997. Ved hjemkomsten til Tyskland ble Hartmann nesten umiddelbart, i 1956, reaktivert som offiser i Luftwaffe, hvor han tjenestegjorde til 1970. Han ble forfremmet til oberstløytnant i 1960 og oberst i 1967. Han tjenestegjorde som kommandant for Jagdgeschwader 71 (JG 71) Richthofen og besøkte USA en rekke ganger, hvor han fikk opplæring i amerikansk flymateriell. Hartmann var sterkt kritisk til Lockheed F-104 Starfighters, som var involvert i en rekke ulykker, og hans kritikk av flytypen gjorde ham upopulær blant hans overordnede. I 1970 gikk han av med førtidspensjon. Han jobbet siden som sivil flyinstruktør.