I Angela Merkels første regjering var han minister for særlige oppgaver og sjef for Forbundskanslerens kontor. I oktober 2009 ble han utnevnt til innenriksminister i Merkels andre regjering. Han var fra 3. mars 2011 til 17. desember 2013 Tysklands forsvarsminister i regjeringen Merkel II og fra 17. desember 2013 til 2018 innenriksminister i regjeringen Merkel III.