Ellefsen har vært aktiv i idretten, og han har blitt færøysk mester i fotball to ganger med Havnar Bóltfelag som hjelpetrener. Senere har han også vært hovedtrener på laget. Han var den første formannen i fotballklubben FS Vágar fra 1993.