对战时只要摆出竹刀上段之姿，「周遭人皆折服于其静谧气魄」之言。与大村藩的同期得到齐藤道场的免许皆传，并称为练兵馆之双璧。大略同时期的江户，武市半平太于「位之桃井」（）的（剑术、新富一丁目）担任道场塾头，而坂本龙马也于「技之千叶」（）的桶町千叶道场（北辰一刀流剑术、八重洲二丁目）担任道场塾头。曾将幕府讲武所总裁的直系弟子击败，直到受藩命归国的五年余，小五郎作为练兵馆塾头，其间以剑豪之名名震天下，被延揽于大村藩等之江户藩邸，指导藩士剑术。流传在安政5年（1858年）10月，小五郎与武市半平太、坂本龙马曾参赛