Natürlich bedeutete der Sturz des Herzogs von Mailand auch für Giovanni einen Abstieg. Das einst ihm gehörende Lehen Casalmaggiore wurde vom König an einen anderen vergeben und als einfacher Capitano war er einer von vielen und jederzeit austauschbar. Am 8. Dezember 1516 schrieb Franz I. an den Marschall Odet de Foix, dass der Gonzaga mit 300 Lanzen und 2000 Infanteristen nach Parma geschickt wurde. Im April 1517 soll Giovanni dann noch in der Region Rimini gewesen sein. Im Jahr 1519 kaufte er von der Familie Gonzaga di Novellara das Lehen von Vescovado; die Bestätigung des Kaufs durch Kaiser Karl V. bekam er im Jahr 1521. Anfang November 1520 ging Giovanni noch einmal nach Mailand, um dem französischen Gouverneur Odet de Foix seine Aufwartung zu machen. Im August 1521 stellte er sich mit 50 Lanzen dann in den Dienst seines Neffen, des Markgrafen Federico II. von Mantua. – Nun stand er nicht mehr auf der Seite Frankreichs, als er am 28. Oktober 1521 mit 800 Pferden und 60.000 Dukaten nach Medole kam, um an die Männer des „deutschen Lagers“, an die "Alemani" und die "Svizzeri" „zu zahlen“, die schon voll Ungeduld auf ihren Sold warteten. Von dort brachte er sie zu Matthäus Schiner, durch dessen Initiative es in der Schlacht bei Bicocca am 27. April 1522 gelang, Mailand von den Franzosen zurückzuerobern.