Jung var fra 2003 til 2005 fraksjonsleder for CDU-fraksjonen i den hessiske landdagen. Ved valget i 2005 ble han innvalgt i det tyske parlamentet som toppkandidat for CDU i Hessen. I oktober samme år ble han utnevnt til tysk forsvarsminister i Angela Merkels kabinett. I oktober 2009 ble han arbeidsminister i Merkels andre regjering, men gikk av etter bare en måned som følge av måten han som forsvarsminister behandlet saken om et luftangrep tyske tropper gjennomførte ved byen Kunduz i Afghanistan, 4. september 2009.