Slutten på Karls regjeringstid var preget av konflikten med hans sønn og arving, Ludvig. Ludvig ønsket reell makt mens han ennå var dauphin, noe Karl nektet å gi ham. Ludvig konspirerte mot faren, og la seg dessuten ut med farens elskerinne Agnès Sorel. I 1446 ble Ludvig forvist til Dauphinoise. I 1456 søkte han tilflukt hos hertug Filip III av Burgund.