Aber in dieser Situation vereitelte das Kreuzzugsvorhaben seines älteren Bruders Ludwig IX. von Frankreich im Juni 1270 seine Ziele, da er sich diesem nicht versagen konnte. Doch Karl verstand es, seinen Bruder gegen den Sultan von Tunis ziehen zu lassen, der angeblich unter dieser Bedrohung zum Christentum konvertieren würde. Tatsächlich war der Sultan einst ein Vasall Siziliens gewesen, hatte aber nach dem Ende König Manfreds diese Vasallität abstreifen können. Karl war daher bestrebt, diese zu erneuern. Als er am 25. August im Feldlager vor Tunis eintraf, lag sein Bruder bereits im Sterben. Nach dessen Tod versuchte Karl, den Oberbefehl über das Kreuzfahrerheer zu übernehmen, konnte sich aber gegen seinen Neffen Philipp III. nicht durchsetzen. Er erreichte dafür einen Friedensvertrag mit dem Sultan, der ihm einen hohen Tribut zahlte, und bei seinem Neffen erreichte er die Überantwortung der Eingeweide Ludwigs IX., dem schon damals der Ruf eines Heiligen vorauseilte. Die Eingeweide ließ er in Monreale bestatten. Inzwischen war auch Prinz Eduard Plantagenet mit einer englischen Kreuzfahrerflotte bei Tunis dazugestoßen und drängte die französischen Kreuzfahrer, den Kreuzzug in Palästina fortzusetzen. Bei der Überfahrt geriet Karls Flotte in einen Sturm und viele seiner Schiffe sanken, was ihm als Vorwand diente, nach Sizilien zurückzukehren.