Vágur ligger innerst i Vágsfjørður, den nest lengste fjorden på Suðuroy, som skjærer inn fra øyas østkyst. Vágsfjørður har også en sørlig fjordarm, Lopransfjørður. Mesteparten av bebyggelsen i Vágur ligger på nordsiden av fjorden.