Han var sønn av sogneprest Niels Lassen Holm og hustru Johanne Joensdatter i Kvívík. Faren var nordjyde, moren var færøysk. Selv var han gift to ganger. Han ble sendt til Danmark i 1832, og tok studentereksamen i 1841 og teologisk embedseksamen i 1847. Han ble adjunkt i Aarhus i 1849, før han i 1855 begynte i tilsvarende stilling i Roskilde. Alberg Holm var sogneprest i Vetterslev og Høm utenfor Ringsted 1862–1869, i Dalum utenfor Odense 1869–1880 og i Gamtofte utenfor Assens fra 1880.