Mesteparten av Austvågøya består av fjell, som mot Raftsundet når opp til over 1000 moh. Høyeste punkt er Higravstind på 1146 moh. På Austvågøya ligger Lofotens største by, Svolvær, og det gamle fiskeværet Kabelvåg. Fiskeværet Henningsvær ligger på flere småøyer like ved sørvestspissen av Austvågøya. I Raftsundet ligger den kjente, smale Trollfjorden.