中式婚礼上与华人陈氏成婚，乃当时罕有的华洋通婚。妻子后来受洗和改信基督教，成为伦敦传道会信众。1851年3月，夫妻二人在圣约翰座堂补办基督教婚礼。二人育有十二子女，收养逾二十名华人孩子。1875年10月2日，高氏在香港逝世，享年五十九岁，死后葬于跑马地香港坟场，共济会成员为他竖立一高耸华美的墓碑。丧夫的高夫人继承丈夫财产后，以半价三万五千港元出售荷李活道与鸭巴甸街交界的物业给伦敦传道会，后来改建为雅丽氏利济医院（附香港西医学院）及道济会堂，即孙中山早年求学及礼拜的地方。