Andørja er Nord-Europas fjellrikeste øy, med tyve tinder over 1 000 m. Høyeste fjelltopp er Langlitinden med 1 276 moh, og den er med det også det høyeste fjellet på ei øy i Skandinavia. Øya har en karakteristisk fjord, Straumbotn, som deler øya omtrent i to.