Annen misnøye som oppsto sentrerte rundt Lothar, som allerede var utnevnt til keiser. Det kom til overflaten i 822 da Ludvig ble tvunget til å sone for behandlingen av Bernard og tilkalle sin søskenbarn til hoffet. Den avgjørende hendelsen var fødselen av enda en sønn i 823 , Karl, som Ludvig fikk med sin andre hustru, Judith av Bayern. Ludvig var bestemt at hans fjerde sønn skulle dele hans arv med sine eldre halvbrødre. De tre eldre brødrene betraktet enhver endring i avtalen fra 817 som et angrep på deres egen posisjon. Fra slutten av 820-tallet og fram til slutten av Ludvigs liv i 840 var han i jevnlig strid med en eller flere av sine sønner, og ved et tidspunkt ble han avsatt av et bisperåd.