Byen ligger 85 km nordvest for Paris og 35 km sørøst for Rouen ved Seine. Le Petit Andely ligger på bredden av Seine, ved innløpet av to mindre elver Rangering Le Grand og Le Gambon. Begge elvene flyter side ved side i nordlig retning i en liten dal gjennom kupert landskap. I denne dalen går Le Grand Andely, gjennom en større del av byen, samt en stor boulevard som har vokst sammen. Derav navnet Les Andelys i flertall.