Am 28. August 1820 ernannte ihn Papst Pius VII. zum Erzbischof von Toulouse und kreierte ihn im Konsistorium vom 2. Dezember 1822 zum Kardinal. Nachdem er in Rom 1823 am Konklave teilgenommen hatte, empfing er vom neuen Papst Leo XII. am 20. November 1823 den Kardinalshut und am 24. November 1823 die Titelkirche Santissima Trinità al Monte Pincio. Kardinal Clermont-Tonnerre nahm auch am Konklave von 1829 mit der Wahl von Papst Pius VIII. teil.