Hvalba er den nest nordligste bygden på Suðuroy, og beliggenheten inne i Hvalbiarfjørður den danner en naturlig havn. Bebyggelsen i Hvalba ligger forholdsvis spredt, i forhold til mange andre bygder på Færøyene, og for det meste langs den nordlige bredden av fjorden. Grenden Nes, eller Nes-Hvalba, i sør regnes som en del av Hvalba. Nes er adskilt fra resten av Hvalba med et våtmarksområde og utløpet av bekken Fleksá. Nært bygden er det plassert en radiosender for Kringvarp Føroya.