1284 erkannte Papst Martin IV. ihn als König von Aragón – als Sohn der Isabella von Aragon – und damit als Vasall des Heiligens Stuhls an. Damit stand Karl in Konkurrenz zu König Peter III. von Aragon, der seit der Sizilianischen Vesper 1282 ein Gegner Roms und vor allem Karls I. von Anjou war. Sein Vater unternahm, gegen den Rat des Prinzen Philipp dem Schönen, 1284 einen Kreuzzug gegen Aragon um dieses Königreich für seinen Sohn und den französischen Einfluss zu gewinnen, erreichte aber 1285 nur die Krönung Karls mit einem Kardinalshut, der so der Lächerlichkeit preisgegeben wurde und ihm den Spottnamen eines "Königs des Hutes" eintrug. Karl wagte niemals das Zepter, das er sich für diese Gelegenheit hatte anfertigen lassen, zu benutzen. Der Kreuzzug endete in einem militärischen Desaster, König Philipp III. starb und der neue König Philipp IV. beendete sofort den Feldzug.