I 1031 ble det bygget en festning på toppen av klippen som kroner landsbyen Gordes. Det latinske ordet , «festning», ble lagt til det som dermed ble . Festnoingen ble forsterket i 1123 for også å fungere som en residens for en adelsfamilie, det eneste kjente blant de mange festningene i nærheten. Guillaume d'Agoult, en av de første forfedrene til denne mektige føydale familien som bygde festningsverk i alle de omkringliggende landsbyene, og han er omtalt i et charter datert 30. november 1031. Gordes ble forgjeves beleiret av baron François de Beaumont, baron des Adrets, under de franske religionskrigene (1562-1598), ble senere en festningen for markien av Simiane, deretter til hertugene av Soubise og på 1700-tallet til prinsene av Condé.