Han var sønn av sogneprest Frederik Elias Storm (1803–83) og Emilie Fredrikke Cathrine Rønne (1811–47). Søstera Thora Storm (1845–1935) ble feminist og skolebestyrer, mens broren Martin Luther Storm (1836–1916) var agronom som drev jordbruksskole. De var søskenbarn av filolog Johan Storm (1836–1920) og historiske Gustav Storm (1845–1903).