Поскольку в годы борьбы Испании и Франции за господство в Италии Банделло принял сторону французского короля, то после поражения французской армии в битве при Павии (1525) как сторонник французов он потерял свои имения, и позднее французский король Генрих II (при дворе которого он пробыл два года) сделал его епископом Ажена (1550). Эту должность Банделло будет занимать до 1555 г. (или же, возможно, до самой смерти в 1561 г.). В Ажене Банделло провёл остаток своей жизни, пользуясь вниманием со стороны деятелей французского Ренессанса.