Da Johan Storm ble født i Lom, var faren, Ole Johan Storm, (1806–1850) prest (kapellan) der. Broren Gustav var født i Rendalen i 1845, han ble også professor. Ole Johan Storm ble siden sokneprest i Lardal.