，元服后继承桂家大组士身分，由和田小五郎成为桂小五郎，生父向其言道「既然原本并非武士，就必须比别人加倍努力，粉骨精进以报君恩」。此后，小五郎比其他人更用心修行剑术，随后实力精进，渐渐受到周围认可。嘉永5年（1852年），小五郎决意以剑术修行之名义自费留学江户，在得到藩的正式许可后，与其他五名公费留学生同行。入门于江户三大道场之一—「力之斋藤」（）的（九段北三丁目），得到的免许皆传，入门一年后即成为道场塾头。流传着，挺拔的桂小五郎在对战时只要摆出竹刀上段之姿，「周遭人皆折服于其静谧气魄」之言。与大村藩的同期