1944 wurden die Kinder eines Waisenhauses aus Chartres aufgenommen, bevor im Juni des Jahres die deutsche Luftwaffe Baronville besetzte und eine Flugzeugstaffel stationierte, die später bei der Invasion der Alliierten in der Normandie zum Einsatz kam. Im August des Jahres übernahmen die US-amerikanischen Streitkräfte das Schloss. Während dieser Zeit wurde es gemeinsam mit seinen Anlagen in arge Mitleidenschaft gezogen. Erst 1961 konnte man sich an die Renovierungen von Baronville machen, nachdem der heutige Besitzer, Graf Bertrand von Rougé, aus dem Algerienkrieg heimkehrte.