Påven Hadrianus VI sände honom vidare till Ungern 1523, men han kallades av den nye påven Clemens VII tillbaka till Rom följande år för att vara dennes rådgivare. Likt andra kyrkans män greps Cajetanus under Sacco di Roma 1527, och släpptes mot borgen som uppgick till en förmögenhet, som han tvingades låna. Hans sista offentliga uppträdande var den 23 mars 1534, då han och arton andra kardinaler ställde sig bakom påven när denne förklarade äktenskapet mellan Henrik VIII och Katarina av Aragonien vara giltigt.