Papst Clemens XIII. nahm ihn im Konsistorium vom 24. September 1759 als Kardinalpriester von "Santi Bonifacio ed Alessio" ins Kardinalskollegium auf. Danach wurde er Mitglied mehrerer Kardinalskongregationen und 1762 Kommendatarabt von "Santi Pietro e Paolo" in Viboldone. Am 26. April 1763 wurde Kardinal Castelli Präfekt der Kongregation "De Propaganda Fide". Von 1766 bis 1767 war er Kämmerer des Kardinalskollegiums. Er nahm am Konklave 1769 teil, das Clemens XIV. zum Papst wählte, sowie am Konklave von 1774 bis 1775, das Pius VI. wählte. Unter Pius VI. wurde er Protektor mehrerer Kirchen, Städte und Spitäler. 1780 starb Kardinal Castelli und wurde in der Kirche Santi Ambrogio e Carlo al Corso beigesetzt.