Le fils de Jean III d'Harcourt et d'Alix de Brabant, Jean IV, premier comte d'Harcourt, épouse Isabeau, fille de Jean de Parthenay, dame de Vibraye, Montfort et Bonnétable. Leurs fils cadet Guillaume d'Harcourt est seigneur de La Ferté-Imbault. De son mariage avec Blanche de Bray, dame de Cernon (famille normande du Cotentin), fille du Chevalier Guillaume de Bray, il eut une fille, Jeanne d'Harcourt, dame de La Ferté-Imbault, qui épouse Hugues de Montmorency, sire de Beaussault et de Breteuil (branche cadette des Montmorency issue d'Erard, fils cadet de Mathieu III). Leurs fils, Louis et Antoine, décèdent à la bataille d'Azincourt en 1415 pour le premier et à celle de Verneuil en 1424 pour le second. Leur sœur, Catherine de Montmorency, hérite des terres de La Ferté-Imbault après la mort de ses deux frères.