Han giftet seg i 1864 med Julie Fredrikke Brun, datter av sjømann Johannes Finne Brun og hustru Marit Jørgensdatter Øyen. Hennes farfar var sogneprest og stortingsmann Svend Busch Brun. Johan og Julie fikk åtte barn, som alle vokste opp. Datteren Gudrun Møller ble gift med NSB-direktør Eivind Heiberg. Møller ble også far til tre barn før han giftet seg.