7年（1836年）6月10日诞生江户本所，为小野朝右卫门高福四子。年九岁始向久须美闲适斋修习，弘化2年（1845年），高福升任，铁太郎乃随父迁往高山，在那拜入门下学书法，15岁时由师授予一乐斋之号，其后高福又为子延揽，教授其北辰一刀流剑法。嘉永5年（1852年），高福病逝，铁太郎回到江户，受井上引荐而入讲武所，得到千叶周作亲自指点，又得山冈静山传授忍心流枪术，然不久静山猝逝，铁太郎在其弟谦三郎（即泥舟）的恳求下，与其妹英子结婚，成了山冈家的婿养子。安政3年（1856年），剑道已堪精妙的铁太郎接任讲武所世