I sine tidlige år var han til sjøs som fisker 1954–1956 og skipsmekaniker 1957–1960. Han ble etter hvert bosatt i København, hvor han fra 1960 arbeidet som revisor i revisjonsfirmaet C. Jespersen, samtidig som han studerte til diplomutdannelse (HD) i revisjon ved Handelshøjskolen i København. I 1969 ble han også statsautorisert revisor. Først i 1970-årene flyttet han tilbake til Færøyene, hvor han en periode drev revisjonsfirmaet Sundstein & Ellefsen sammen med Jógvan Sundstein, som senere ble statsminister for Fólkaflokkurin. Ellefsen var senere revisor i KPMG, SPEKT og et eget foretak.