Stedet for Château Gaillard innenfor herregodset Andeli, beliggende høyt over elven Seine, som var en viktig transportrute, ble identifisert som en naturlig forsvarsposisjon. I dalen under lå byen Andely, senere kalt Grand Andely. I henhold til betingelsene i traktaten ved Louviers, som ble inngått i januar 1196 mellom Rikard og Filip II, kunne ingen av kongene befeste dette stedet. Til tross for dette var Rikard fast bestemt på å bygge sin festning ved Andeli. Hensikten var å beskytte hertugdømmet Normandie fra franske angrep og fylte et tomrom i det normanniske forsvaret etter at Château de Gisors og særlig Château de Gaillon var kommet på franske hender. Château Gaillard kunne også benyttes som base for å starte militære kampanjer for å gjenerobre normanniske Vexin. Rikard forsøkte å skaffe seg herregodset Andeli ved forhandlinger. Walter de Coutances, erkebiskop av Rouen og biskop av Lincoln, var motvillig til å selge godset Andeli da det var et av bispedømmets mest lønnsomme, og andre landområder tilhørende erkebiskopen hadde blitt ødelagt av krig. Da Filip beleiret Aumale i det nordlige Normandie, ved grensen til Picardie, ble Rikard lei av å vente og bare tok godset, til tross for fordømmelse fra kirken.