子藤四郎分别在五岁和两岁时夭折。1915年，次女宽子在产后病逝，年仅30岁。1919年1月，37岁的三子舜三在美国纽约突遭车祸身亡；同年4月，39岁的次子兼二又死于伤寒；晚年丧子的打击令高木精神崩溃，他从此闭门谢客，终日呆坐不语。1920年3月21日痼疾肾炎复发，4月12日突发脑溢血抢救无效，于次日在东京逝世，4月17日葬于东京青山灵园。
纪念.高木逝世当天，大正天皇降旨追封其从二位，并授旭日大绶章。长子高木喜宽承袭男爵爵位。1903至1905年法国南极远征期间，法国科学家让-