Han var sønn av cand.jur. Nicolai Jean Moe (1814–1872) og Louise Wilhelmine f. Heyermann (1822–1913). Han befant seg aldersmessig midt i en søskenflokk på fem; og hadde tre brødre og en søster.