Olaf Edvard Moe var sønn av sogneprest Oscar Moe (1846–1918) og Ida Henriette (1851–1922, født Hansen).