Han var sønn av malermester, redaktør og lagtingsmann Djóni í Geil og hustru Elisabeth (Bette) Holm i Tórshavn samt bror av redaktør og forfatter Kristin í Geil. Han ble oppkalt etter morens farbror, sogneprest Peter Alberg Holm. Familien var nært knyttet til den færøyske nasjonalbevegelsen. Alberg var med å stifte Havnar Ungmannafelag, og han sørget for å skrive ned mange av de historiene som Mads Andrias Winther fortalte her. Mange ulike personer stod for å skrive det håndskrevne medlemsbladet , men Alberg etablerte seg snart som den mest avholdte.