Med den yngste sønnen som et faktum ønsket faren også gi Karl en andel av arven etter seg. Problemet var at i 817 hadde Ludvig den fromme utstedte han et , en keiserlig bestemmelse som la fram planene for en velordnet etterfølgelse, hvor brødrene fikk en andel av styret, men uten kongelige titler. Brødrene betraktet enhver endring i avtalen fra 817 som et angrep på deres egen posisjon. Fra slutten av 820-tallet og fram til slutten av Ludvigs liv i 840 var han i jevnlig strid med en eller flere av sine sønner, og ved et tidspunkt ble han avsatt av et bisperåd. Ludvig tildelte Karl et underkongerike, først Alamannia (et område mellom dagens Frankrike og Tyskland) og deretter et landområde mellom elven Maas og fjellkjeden Pyreneene, men det var ikke vellykket. De tallrike forsoningene med de opprørske brødrene Lothar og Pepin, foruten også broren Ludvig den tyske, konge av Bayern, gjorde Karls andel i Aquitaine og Italia kun midlertidig. Hans far ga imidlertid ikke opp og gjorde Karl til arving av alt land som en gang var Gallia. Ved en middag i Aachen i 837 krevde Ludvig den fromme at adelen skulle gi sin lojalitet til Karl som hans arving. Broren Pepin døde i 838 og da mottok Karl Aquitaine, noe som opprørte både adelen i Aquitaine og Pepins arvinger.