In 1284 erkende paus Martinus IV hem als koning van Aragón – als zoon van Isabella van Aragón – en daarmee als vazal van de Heilige Stoel. Hierdoor was Karel een concurrent van koning Peter III van Aragón, die sinds de Siciliaanse Vespers van 1282 een tegenstander van Rome en vooral van Karel I van Anjou-Napels was. Zijn vader ondernam, tegen het advies van de kroonprins Filips de Schone, in 1284 een Kruistocht tegen Aragón om dit koninkrijk voor zijn zoon te winnen en onder Franse invloed te brengen, maar bereikte in 1285 slechts de kroning van Karel met een kardinaalshoed, wat deze laatste zo voor schut zetten dat het hem de spotnaam van "koning van de hoed" ("roi du chapeau") opleverde. Karel waagde het daarom nimmer de scepter, die hij voor deze gelegenheid had laten vervaardigen, te gebruiken. De Kruistocht eindigde in een militaire mislukking, koning Filips III stierf en de nieuwe koning Filips IV maakte onmiddellijk een einde aan de veldtocht.