Johan Ellefesen var sønn av Olaf Ellefsen (død 1917) og Birthe Marie von Westen Ellefsen. Faren hadde teologisk utdannelse og virket som lærer ved forskjellige folkeskoler i Kristiania. Morfaren Carl Arnoldus Müller var rektor ved Kristiania katedralskole og en viktig person i Kristianias teaterverden.