夫妻二人在圣约翰座堂补办基督教婚礼。二人育有十二子女，收养逾二十名华人孩子。1875年10月2日，高氏在香港逝世，享年五十九岁，死后葬于跑马地香港坟场，共济会成员为他竖立一高耸华美的墓碑。丧夫的高夫人继承丈夫财产后，以半价三万五千港元出售荷李活道与鸭巴甸街交界的物业给伦敦传道会，后来改建为雅丽氏利济医院（附香港西医学院）及道济会堂，即孙中山早年求学及礼拜的地方。