1782 schloss Karl sich bei der letztlich erfolglosen Belagerung Gibraltars der französischen Armee an. Dieses militärische Engagement sollte seinen Verlust an öffentlichem Ansehen teilweise ausgleichen. Durch seinen aufwendigen Lebensstil hatte er innerhalb weniger Jahre Schulden von 14,5 Millionen Livres angehäuft, die der – bereits in finanzieller Schieflage befindliche – französische Staat übernahm, um den Grafen vor dem Bankrott zu bewahren. Dafür zuständig war Charles-Alexandre de Calonne als Generalkontrolleur der Finanzen, welche Funktion er von 1783–87 ausübte.