Han giftet seg i 1836 med Hanna Jørgine Mathilde Breda (1815–1869), som var søskenbarn med Henriette Margrethe Breda, gift Bull. Henriette etterfulgte sin kusine som prestefrue i Rendalen, og ble mor til forfatteren Jacob Breda Bull. Ole Johan og Hanna hadde fem barn, blant dem professor Johan Storm (1836–1920), losoldermann og ordfører Oscar Storm (1838–1915) og professor Gustav Storm (1845–1903). Etter ektemannens død bosatte Hanna Storm seg i Fredensborgveien i Kristiania, sammen med to av sønnene.