也开始接触宗教信仰，首先研究了一段时间禅宗佛教，不久改信日本传统宗教神道。他尤其崇尚神道中一种称为“”的（通过粗衣粝食、冷水沐浴、强力运动以求达到心身统一，神我一体的悟境），年过六旬仍然力行不辍。此外，宫崎县宫崎神宫的大规模扩建工程，以及该社每年举办的祭祀巡游“”，也均是在高木的主持下得以实现的。高木在1872年6月娶外交官之女濑胁富子为妻，两人共育有四儿两女。除长子外，其余子女均先他死去。长女幸和四子藤四郎分别在五岁和两岁时夭折。1915年，次女宽子在产后病逝，年仅30岁。1919年1月，37岁的三子