No obstante, dos eventos en 1421 rompieron su confianza: fue forzado, muy a su pesar, a retirarse de la batalla contra Enrique V de Inglaterra y sus padres le repudiaron como el heredero legítimo de Francia, otorgando la herencia a Enrique VI y arguyendo que él, Carlos, era el resultado de una de las aventuras extramaritales de su madre (de las cuales se le conocían muchas).