他向酒井良佐学习剑术，但并没有热心。另外在箕作阮甫、蕃书调所学习兰学，跟中滨万次郎、森山多志郎学习英语后，与吉原重俊、福岛敬典等人一起师事武田斐三郎学习英语、测量术。、在横滨佛语传习所向メルメ・カション学习了法语。。
幕府时期.安政3年（1856年）6月10日加入小姓组酒井对马守组、后加入仙石右近组，安政6年（1859年）祖父因涉及将军继嗣问题等政治争端而下台，8月27日继承家督职位，经过柴田能登守组后文久3年（1863年）1月22日小纳户，同年2月和12月被进行了的14代将军德川