En 1807 es nombrado ministro de Guerra en reemplazó de Louis-Alexandre Berthier, eliminando el engranaje de poder autónomo creado por su antecesor y haciéndose con el control del Ministerio de Administración de Guerra. Su papel en el fracaso de la Expedición Walcheren en 1809 llevó recibir el título de duque de Feltre por Napoleón. Entre 1811 y 1812 la Grande Armée depende de su capacidad organizativa, por ello exige el control sobre el reclutamiento, producción, fondos y salubridad militares. El 23 de septiembre de 1812 Claude François de Malet organizó una intentona de golpe de estado. Como su principal rival, el ministro de Policía, Anne Jean Marie René Savary, resultó arrestado, él se hizo con un enorme poder en París. Al volver en diciembre, Napoleón reinstala en su puesto a Savary y le quita a Clarke muchos de sus poderes. En noviembre de 1813 nombra como ministro de Administración de Guerra, Pierre Antoine Noël Bruno, debilitando aún más su autoridad. En el año siguiente ve aún más restringida su autoridad hasta sólo ser responsable de la movilización de la población civil y los hospitales. Al final, presionó a Napoleón a abdicar con otros mariscales. Pierre-Antoine Dupont de l'Étang lo reemplaza durante el reinado de Luis XVIII de Francia, pero igualmente es nombrado Par de Francia y mariscal. Al volver Napoleón en los Cien Días, sirvió como ministro de Guerra hasta que siguió a Luis en su huida a Gante. Tras la derrota definitiva de Napoleón, siguió como ministro hasta retirarse en 1817 cuando lo reemplaza Laurent de Gouvion-Saint-Cyr. Siguió como jefe de la 15ª división hasta el fin de sus días.