Son activité s'interrompit en 1521, quand la situation de l’armée française en Lombardie, menacée par les forces de l'empereur, du pape et des autres alliés de Charles V, devint critique ; Bambaia, privé des moyens financiers nécessaires pour accomplir son ouvrage, en octobre vendit du marbre à la Fabrique de la cathédrale de Milan. En novembre les Français abandonnèrent Milan et l'armée fut battue à la Bicoque le . Après la brève reconquête à la fin de 1524, le François était défait et fait prisonnier à Pavie : c’était la fin de la domination française en Lombardie.