Równie chłodne były relacje Karola z jego najstarszym bratem. Ludwik był surowy w obejściu z braćmi, jeśli ci przekroczyli granicę jego pobłażliwości. Na początku faworyzował najstarszego ze swoich młodszych braci, hrabiego Roberta. Gdy ten zginął podczas krucjaty egipskiej, w 1250 roku, jego miejsce u boku Ludwika zajął kolejny z braci, Alfons (hrabia Tuluzy), który po śmierci Blanki w 1252 stał się jednym z najbliższych doradców Ludwika.