Im Konsistorium vom 14. Februar 1785 wurde er, gemeinsam mit seinem Bruder, mit einem entsprechenden Dispens, von Papst Pius VI. (1775–1799) zum Kardinal kreiert und folgenden April zum Kardinaldiakon von "Santi Cosma e Damiano (Rom)" ernannt, worauf er im Mai die Diakonenweihe empfing. Der Dispens war notwendig, da zu diesem Zeitpunkt gegen die Vetternwirtschaft am päpstlichen Hof vorgegangen wurde. Es schlossen sich nun hochrangige Verwendungen und Aufgaben an. 1789 erhielt er die Titeldiakonie vom "Santa Maria ad Martyres", 1800 wechselt er nach "Santa Maria in Via Lata". Seine weiteren Kurienämter waren von 1818 bis 1819 Kämmerer des Heiligen Kardinalskollegiums und 1819 bis 1821 Erzpriester der Basilika di Santa Maria Maggiore. Von 1798 bis 1821 war Kardinal Pamphilj als dienstältester Kardinaldiakon gleichzeitig Kardinalprotodiakon. Er nahm am Konklave 1799–1800 teil, das Pius VII. zum Papst wählte. Als Kardinalprotodiakon kam ihm die Aufgabe zu, die Wahl des neuen Papstes zu verkünden und diesen zu krönen. Antonio Pamphilj starb am 31. Januar 1821 und wurde in der Familiengruft der Kirche "Sant’Agnese in Agone" in Rom beigesetzt.