图依靠一桥家出仕，但因庆昌夭折而告终。在男谷家长到7嵗、搬到赤坂本所入江町（现墨田区绿4-24）。
修行时代.起先在父亲小吉的实家，堂兄的道场学习剑术，后来在精一郎的徒弟的道场学习，得到了证书。通过虎之助推荐还学了禅。在兰学方面、开头打算拜江户的兰学者爲师，然而遭到拒绝后，成爲借居在赤坂熘池福冈藩宅邸的弟子。弘化3年（1846年）从本所搬到赤坂田町。学习兰学的过程中只花了一年时间抄写了两本辞典。一本自用、一本卖钱。得到兰学者佐久间象山的赏识。在象山推荐下学习西洋兵法，在