Ellefsen hadde dessuten en rekke verv knyttet til arkitektur. For eksempel var han var første formann i Lillehammer og Omegn Boligbyggelag (LOBB), han var formann i Hedmark og Oppland arkitektforening, og han var ved flere anledninger jurymedlem i arkitektkonkurranser.