Byen ligger nederst i Romsdalen, ved utløpet av elva Rauma i Romsdalsfjorden. Ved Åndalsnes går Romsdalsfjorden over Isfjorden. Byen er omkranset av høye fjell på opptil 1800 m, med Trolltindan, Vengetindan og Romsdalshornet som de mest markante.