嘉永5年（1852年）、剣術修行を名目とする江戸留学を決意し、藩に許可され、藩に招かれていた神道無念流の剣客・斎藤新太郎の江戸へ帰途に5名の藩費留学生たちと他1名の私費留学生に随行し、私費で江戸に上る。
嘉永5年（1852年），小五郎决意以剑术修行之名义自费留学江户，在得到藩的正式许可后，与其他五名公费留学生同行。