Angesichts der ernstzunehmenden Bedrohung durch Peter von Aragon reiste Karl Anfang des Jahres 1283 nach Frankreich. Dort arrangierten beide Herrscher für den 1. Juni 1283 in Bordeaux ein gerichtliches Duell mit einhundert Rittern auf beiden Seiten, um einen längeren Krieg gegeneinander zu verhindern. Das Duell wurde allerdings auf Einspruch des Papstes verboten, da die Herbeiführung eines Gottesurteils nicht dem kanonischen Gesetz entsprach. Dennoch fanden sich im Juni 1283 Karl, sowie der französische König und die französische Ritterschaft in Bordeaux ein. Letztlich aber verzichteten Anjou und Aragón auf eine Durchführung des Duells und schoben sich gegenseitig Terminverzögerungen als Grund zu. Im Juli desselben Jahres wurde Karls Flotte bei Malta vernichtet, worauf die Aragonier die Küste des italienischen Festlandes überfielen und den Hafen von Neapel abriegelten. Karl machte seinen Einfluss auf seinen Neffen, König Philipp III., geltend und bewog ihn zu einem Kreuzzug gegen Aragon. Papst Martin IV. hatte seinen Segen zu solch einem Kreuzzug gegeben, indem er Peter exkommuniziert und all seines Besitzes für verlustig erklärt hatte. Unterdessen erlitt Karls gleichnamiger Sohn, den er als Regenten zurückgelassen hatte, in der Bucht von Neapel am 5. Juni 1284 eine schwere Niederlage gegen die aragonesische Flotte und geriet in Gefangenschaft. Karl kehrte nur drei Tage später wieder nach Neapel zurück und war fortan mit der Verteidigung seines Festlandbesitzes um Kalabrien und Apulien beschäftigt. In dieser Situation starb er am 7. Januar 1285 in Foggia.