Han lærte seg å spille fiolin av musikklærer Georg «Bakar» Hansen i Tórshavn omkring 1900, og det var han som oppdaget Albergs musikalske begavelse. Han satte melodi til flere dikt av Hans A. Djurhuus. På Færøyene huskes Alberg allikevel best for landets nasjonalsang «Tú alfagra land mítt» («Mitt fagre land»), hvor han satte melodi til Símun av Skarðis tekst. Han komponerte også melodien til «Tjaldur, ver vælkomið», og er opphavsmann til 18 sanger i .