Nachdem 1768 die Jesuiten aus dem Königreich Neapel vertrieben worden waren, wurde Kardinal Albani vom Papst zum Mitglied einer besonderen Kongregation ernannt und sprach sich für eine Aufhebung des Jesuitenordens aus. Er war Teilnehmer des Konklaves von 1769, bei dem Clemens XIV. zum Papst gewählt wurde. Nach der Wahl dieses Papstes, zu dem Albani in Opposition stand, weigerte er sich, weiterhin für den Heiligen Stuhl zu arbeiten. Dies geschah im Wesentlichen wegen der Jesuiten, die Kardinal Albani nunmehr unterstützte.