Son ascension va connaître un terme à la suite d'un différend avec la reine-mère Louise de Savoie. En effet, en 1522 la France est engagée dans la d’Italie et elle perd le Milanais à la suite de la destruction de l’armée française à La Bicoque. Le roi est informé que la défaite est liée à la démobilisation d’une partie de ses troupes qui n’avaient pas reçu leur solde. Le roi demande à son ministre des finances de lui expliquer où sont passés les écus qui étaient destinés à l’armée d’Italie. Celui-ci avoue les avoir remis à Louise de Savoie qui exigeait cette somme en remboursement d’une créance qu’elle avait envers la couronne. La reine-mère ne lui pardonnera jamais cette dénonciation et sur son instigation, le , une commission est nommée pour examiner ses comptes.