Etter at jesuittene i 1768 ble fordrevet fra kongeriket Napoli, ble kardinal Albani utnevnt av paven til medlem av en særlig kongregasjon om ordenens fremtid, og gav en uttalelse om at ordenen burde oppheves. Han deltok så på konklavet i 1769 som valgte kardinal Giovanni (Gian) Vincenzo Antonio Ganganelli til pave Klemens XIV. Dette var en mann som Albani hadde stått i opposisjon til, og han vegret seg så å arbeide mer for Pavestolen. Dette skjedde mens Paven ble mer og mer innstilt på jesuitterordenen, mens kardinal Albani underveis var kommet til den konklusjon at ordenen burde forsvares.