Borgen ble bygd på slutten av 1200-tallet på ordre av Robert I av Dreux som var bror av den franske kongen Ludvig VII av Frankrike og på den tiden herre av Brie. Borgen, befestningene og borgslottet er bygd i en stil inspirert av Midtøsten. Den var i Dreux-familiens eie frem til 1254, da den ble overtatt av Châtillon-familien. Etter dette ble det gjennomført en rekke tilbygg til borgen. I 1349 huset borgen bryllupet til Filip VI av Frankrike og Blanche d'Évreux. Borgen fikk sitt første slottskapell på slutten av 1300-tallet, det lille kapellet var dedikert til Sankt Dennis. På slutten av 1400-tallet ble slottet overtatt av Orléans-familien.