1515 ging er mit König Franz I. nach Italien als Befehlshaber der Aufklärungseinheiten und warnte ihn vor dem Verrat der Schweizer in der Schlacht bei Marignano. Der König setzte ihn als Gouverneur des Herzogtums Mailand ein; er eroberte Brescia und Verona und hob 1521 die Belagerung von Parma auf. Im Folgejahr wurden seine Truppen in der Schlacht bei Bicocca geschlagen. Nach dem Verlust Mailands, wo seine Terrorherrschaft in Erinnerung blieb, zog er sich in eines seiner Häuser ins Guyenne zurück. Seine militärische Charge verlor er nicht, denn seine Schwester Françoise, Mätresse des Königs, wusste sich für ihn zu verwenden.