Ellefsen var elev ved latinlinjen på Kristiania katedralskole og tok i 1906. Deretter begynte han først å studere filologi ved universitetet, senere statsøkonomi. I studenttiden omgikkes han blant andre Arnulf Øverland og Helge Krog. På grunn av sykdom måtte han avbryte studiene og bestemte seg for å begynne å skrive. Ved siden av skaffet han seg en liten stilling på Universitetsbiblioteket.