生于日向国东诸县郡穆佐村（今宫崎县宫崎市），幼名藤四郎。家族世代为萨摩藩下级武士，父亲高木喜助平时务农，也是村里的木匠。兼宽天资聪颖，8岁习读四书五经，13岁立志学医，18岁跟随鹿儿岛医生石神良策学习汉方和（经荷兰人传入日本的西洋医学）。时值幕末动乱，戊辰战争爆发。1868年6月，20岁的高木作为萨摩藩东北征讨军鹿儿岛第九队的随军军医开赴京都，先后转战江户、会津若松等地，同年11月复员。从军期间，高木见识到了英国公使馆医生等西医的高超医术并为此深深折服，同时痛感汉医落后不堪，无力救治现代战场的伤病员。这使他