Papst Gregor XVI. ernannte ihn am 22. Juli 1844 zum Erzbischof von Benevent und nahm ihn am selben Tag als Kardinalpriester von "Santa Maria degli Angeli e dei Martiri" ins Kardinalskollegium auf. Carafa zögerte zunächst, die Ernennung anzunehmen, tat dies aber auch auf Anraten seines engen Freundes Kardinal Giovanni Maria Mastai-Ferretti, später Papst Pius IX. Die Bischofsweihe spendete ihm am 11. August 1844 Kardinal Vincenzo Macchi, Sekretär des Heiligen Offiziums. Nach dem Tod Gregors XVI. nahm Kardinal Carafa am Konklave 1846 teil, das Pius IX. wählte. Während der Revolutionen von 1848 zog er sich in seine Heimatstadt Neapel zurück. Erst im Januar 1849 konnte er in sein Erzbistum zurückkehren. Am 18. April 1850 verbot er seinem Klerus, an politischen Versammlungen teilzunehmen. Die darauffolgenden Jahre war Kardinal Carafa auf rein geistliche Aufgaben beschränkt, wobei das einzig Nennenswerte die diözesane Synode von 1855 war, der er das im Vorjahr verkündete Dogma der Unbefleckten Empfängnis Marias vorlegte. Im September 1860 wurde ihm im Zuge der Einigung Italiens die Macht als Päpstlicher Herzog entzogen, außerdem wurde er aus Benevent vertrieben und das Priesterseminar zu einer Kaserne umfunktioniert. Erst im April 1867 konnte Carafa nach Benevent zurückkehren.