Alberg var med å stifte Havnar Ungmannafelag, og han sørget for å skrive ned mange av de historiene som Mads Andrias Winther fortalte her. Han satte melodi til flere dikt av Hans Andrias Djurhuus. På Færøyene huskes Alberg allikevel best for landets nasjonalsang «Tú alfagra land mítt», «Mitt fagre land», hvor han satte melodi til Símun av Skarðis tekst. Han komponerte også melodien til «Tjaldur, ver vælkomið», og er opphavsmann til 18 sanger i .