费留学江户，在得到藩的正式许可后，与其他五名公费留学生同行。入门于江户三大道场之一—「力之斋藤」（）的（九段北三丁目），得到的免许皆传，入门一年后即成为道场塾头。流传着，挺拔的桂小五郎在对战时只要摆出竹刀上段之姿，「周遭人皆折服于其静谧气魄」之言。与大村藩的同期得到齐藤道场的免许皆传，并称为练兵馆之双璧。大略同时期的江户，武市半平太于「位之桃井」（）的（剑术、新富一丁目）担任道场塾头，而坂本龙马也于「技之千叶」（）的桶町千叶道场（北辰一刀流剑术、八重洲二丁目）担任道场塾头。曾将幕府讲武所总裁的直系弟子