Den 16. mars 1797 ble han både sekretær ved Statssekreteriatet og prefekt for kongregasjonen for den hellige Consulta, verv han innehadde til pave Pius VIs død. Da keiser Napoleon sendte pave Pius VI i eksil, ledsaget kardinal Doria Pamphilj ham til Frankrike, der paven døde i 1799.