Han kom fra en lærerfamilie i Hvalba, som også var sterkt politisk engasjerte som «sambandsmenn»: Faren Óli Niklái Skaalum var lagtingsmann, og broren Oluf Skaalum var redaktør i partiets presseorgan.