6月娶外交官之女濑胁富子为妻，两人共育有四儿两女。除长子外，其余子女均先他死去。长女幸和四子藤四郎分别在五岁和两岁时夭折。1915年，次女宽子在产后病逝，年仅30岁。1919年1月，37岁的三子舜三在美国纽约突遭车祸身亡；同年4月，39岁的次子兼二又死于伤寒；晚年丧子的打击令高木精神崩溃，他从此闭门谢客，终日呆坐不语。1920年3月21日痼疾肾炎复发，4月12日突发脑溢血抢救无效，于次日在东京逝世，4月17日葬于东京青山灵园。
纪念.高木逝世当天，大正天皇降旨追封其从二位，并授旭日