Ellefsen var medlem av kommunestyret i Miðvágur 1923–1927 og 1959–1963. Han var med på å stifte Vinnuflokkurin i 1935 og Fólkaflokkurin i 1939/1940. Han var innvalgt på Lagtinget fra Vágar 1936–1958.