I 1830 bygde Joen Joensen fra Sumba seg hus i Víkarbyrgi, og flyttet dit sammen med sin familie. I 1834 hadde bygda 13 innbyggere, og i 1906 hadde tallet steget til 40. 31. mars 1942 drev en mine i land og tilførte skader på en del hus. I 1970 hadde Víkarbyrgi 22 innbyggere, og i 1977 fikk bygda veiforbindelse – som den siste på Suðuroy. Samme år bygde man et oppdrettsanlegg for laks.