下（现在东京都文京区汤岛）的幕臣之家。嘉永3年（1850年）、10歳时元服而命名叫作为忠。那年也进入汤岛圣堂、学习和汉之道及绘画。安政5年（1838年）、18歳加入直心影流・榊原键吉的门下并且在20歳时拿到免许皆传的身分、而在讲武所担任师范代、在此也与胜海舟是同事、因此也有暗杀坂本龙马的首谋者有胜参与的一说。自创出片手打ち的独特剑法但被其老师所封印起来。文久3年（1863年）、23歳担任柔术师父而成为神奈川奉行所取缔役・洼田镇章的手下并且从洼田那边学习扱心流体术。之后以属于幕府军的游撃队的头取身分前