In 1807 werd Clarke teruggeroepen naar Frankrijk en benoemde Napoleon hem tot minister van Oorlog en kreeg hij de titel "graaf van Hunebourg". Dankzij zijn inzet bij het tegenhouden van de Britse invasie op Walcheren kreeg hij in 1809 van Napoleon de titel "hertog van Feltre". Tot aan het eind van Napoleons bewind bleef Clarke minister. Toen de geallieerden in de buurt van Parijs kwamen, organiseerde hij de verdediging van de stad. Na Napoleons aftreden werd Clarke vervangen door Dupont de L'Étang als minister van Oorlog. Na de terugkeer van Napoleon van Elba nam Clarke zijn oude functie weer op. Ditmaal echter wel onder Lodewijk XVIII, met wie hij meevluchtte naar Gent toen de troonsovername van Napoleon onafwendbaar bleek. Nadat Napoleon bij Waterloo verslagen was, werd Clarke voor de derde maal minister van Oorlog, ditmaal tot 1817, toen Gouvion Saint-Cyr het van hem overnam.