I 1550 ble han til slutt utnevnt av kong Henrik II til biskop av Agen sørvest i Frankrike, en by hvor han bodde i mange år; han tilbragte han sin livsaften som forfatter, og døde i 1562.