At Hvalba hadde enkel tilgang til fiskesteder på både øst- og vestkysten, gjorde bygden særlig attraktiv for fortidens fiskerbønder. Skjønt kystfiske og fuglefangst var viktige binæringer, var husdyrholdet og noe åkerbruk hovednæring i flere hundre år etter landnåmet. Med industrialiseringen av fiskeriet på 1800- og 1900-tallet ble Hvalbiarfjørður som en naturlig havn for trålere viktigere. Før industrialiseringen hadde landbruksbygder som Sandur og Hvalba vært blant de største på Færøyene. Allerede i 1878 ble Hvalba utskilt fra Suðuroyar prestagjalds kommuna. Naturhavnen og infrastrukturen har gjort Hvalba mindre utsatt for fraflytting enn flere andre bygder på Suðuroy, som har opplevd et minkende folketall siden 1950-årene.