После высылки из России Ареццо продолжал оставаться на дипломатической службе, в 1804—1806 годах он вёл переговоры с королём Саксонии о заключении конкордата. Наполеон через Ареццо пытался принудить папу римского к вхождению в антибританский союз, но епископ препятствовал осуществлению планов французского императора, за что был арестован и сослан сначала в Новару, а затем на Корсику. Ареццо сумел бежать из корсиканской тюрьмы и нашёл убежище на Сардинии, а после поражения Наполеона вернулся в Рим. 8 марта 1816 года он был возведён в кардинальское достоинство и стал кардиналом-священником с титулом церкви Сан-Пьетро-ин-Винколи. В 1820 году Ареццо добился одного из высших постов в католической иерархии, став кардиналом-епископом субурбикарной епархии Сабина-Поджо Миртето. Участвовал в трёх конклавах — 1823, 1829 и 1830—1831 годов. Был апостольским легатом в Ферраре, в 1830—1833 годах также руководил Апостольской канцелярией. Умер 3 февраля 1833 года в Риме. Похоронен в церкви Сан-Лоренцо ди Дамазо, входящей в состав Палаццо делла Канчеллерия.