Jean IV. de Carrouges war ein Nachfahr von Roger, dem in einer Urkunde aus dem Jahr 1150 ersten namentlich erwähnten Seigneur von Carrouges. Er kämpfte im Hundertjährigen Krieg auf Seiten des französischen Königs Karl VI. gegen die Engländer. Als es diesen unter Heinrich V. von England aber gelang, die niedere Normandie einzunehmen, verlor Jeans Nachfolger Robert seinen Besitz, weil der englische König ihn konfiszieren ließ. Erst als der Herr von Carrouges Heinrich V. als seinen Landesherrn anerkannt hatte, erhielt er seine Burg zurück. Diese hatte wahrscheinlich Jean IV. schon im 14. Jahrhundert durch einen Neubau am heutigen Ort ersetzt. Um sich gegenüber der französischen Krone zu rehabilitieren, stellte Robert von ihm bezahlte Truppen in den Dienst des zukünftigen französischen Königs Karl VII. Als er 1424 in der Schlacht von Verneuil starb, hinterließ er seiner Erbtochter Jeanne eine Burganlage, die aus einem Donjon samt Ringmauer und daran anschließenden, weiteren Gebäuden bestand. Das damalige Areal hatte wahrscheinlich einen rechteckigen Grundriss und bedeckte etwa die Hälfte der heutigen Grundfläche.