Im Konsistorium vom 26. September 1766 nahm ihn Clemens XIII. als Kardinalpriester von "San Crisogono" ins Kardinalskollegium auf und machte ihn zum Mitglied mehrerer Kardinalskongregationen. Kardinal Pirelli nahm am Konklave des Jahres 1769 teil, das stark von der Jesuitenfrage dominiert wurde, und verfasste über die Geschehnisse ein Tagebuch. Er befürwortete Maßnahmen zur Eindämmung antikirchlicher Strömungen und war enttäuscht über die Wahl von Clemens XIV., den er als Verbündeten jener Staaten sah, die den Jesuitenorden verbieten wollten.