Stedet til Château Gaillard hadde ikke blitt befestet tidligere, byen Petit Andely ble bygget samtidig med festningen, og sammen med historiske Grand Andely, er de to til sammen kjent som Les Andelys. Festningen ble reist på en høy odde, 90 meter over Les Andelys, og med utsikt over en sving i elven Seine. Festningen var knyttet til Les Andelys via en rekke samtidige ytre arbeider.