Han vokste opp i Miðvágur som sønn av kjøpmann Joen Elias Ellefsen fra Miðvágur og hustru Sofía Højgaard fra Rituvík. Han var bror av skipsreder Svend Aage Ellefsen, svoger av historiker Jóannes Dalsgaard og grandnevø av Sámal Ellefsen, som alle har vært politikere. Pauli Ellefsen var gift med Henni Egholm Rasmussen og bosatt i Hoyvík ved Tórshavn.