Han giftet seg den 2. november med Isabella Morrison som var datter av Robert Hall Morrison, en presbyteriansk prest og den første presidenten ved Davidson College, og gjennom hennes mor, en niese av guvernøren av Nord-Carolina, William Alexander Graham. De fikk totalt ni barn. En av sønnene, Harvey jr, tjenestegjorde som president ved North Carolina State College (nå North Carolina State University). Deres yngste sønn, Joseph Morrison, var høyesterettsjustitiarius i Arkansas' høyesterett fra 1904 til 1909.