键吉也必须代替亡母负责家事以及照顾兄弟。于是男谷劝他改去有名而且距离较近的玄武馆・士学馆・练兵馆等道场。但键吉却表示一旦入门就不会转去其他道场而持续前往男谷的道场学习。键吉虽然力求上进，但由于家境贫穷，连进级用的切纸，目録等必须花费的费用都无法负担。嘉永2年（1849年），男谷察觉此事，于是决定由他负担费用并给予键吉免许皆传的资格。
讲武所时代.安政3年（1856年）3月，27岁时，受男谷推荐成为讲武所的剑术教授。之后升级为师傅。安政7年（1860年）2月，讲武所从筑地移转