Von 1772 bis 1773 wirkte er als Gesandter am spanischen Königshof. Am 6. September 1773 wurde er zum Apostolischen Nuntius in Frankreich berufen und erhielt zum 14. Februar 1785 die Erhebung zum Kardinalpriester von "San Pietro in Vincoli". Am selben Tag wurde auch sein Bruder Antonio Doria Pamphilj zum Kardinal erhoben. Als Apostolischer Nuntius vollzog er eine Vielzahl an diplomatischen Missionen und stand Papst Pius VI. im Exil in Valence bis zu dessen Tod im Jahr 1799 zur Seite. Bereits seit März 1797 war er Kardinalstaatssekretär. Er nahm 1799 und 1800 am Konklave zur Wahl des Papstes Pius VII. teil und konsekrierte in seiner Amtszeit neunundzwanzig Bischöfe.