En 1999, il est nommé chef de la chancellerie régionale de Hesse sous la direction de Roland Koch, un poste que, impliqué dans l'affaire des caisses noires du parti, il n'occupe que durant un an. Désigné président du groupe CDU au "Landtag" en 2003, il est élu au "Bundestag" en 2005 et devient peu après ministre fédéral de la Défense dans la grande coalition d'Angela Merkel. Son action est marquée une nouvelle controverse, que ce soit à cause de ses propos sur la possibilité d'abattre un avion civil détourné ou du bombardement de Kunduz. À la suite des élections législatives de 2009, il est choisi pour le poste de ministre fédéral du Travail dans la nouvelle coalition noire-jaune, mais il est contraint à la démission au bout d'un mois, après qu'il a été avéré qu'il avait menti concernant le bombardement de Kunduz.