总裁的直系弟子击败，直到受藩命归国的五年余，小五郎作为练兵馆塾头，其间以剑豪之名名震天下，被延揽于大村藩等之江户藩邸，指导藩士剑术。流传在安政5年（1858年）10月，小五郎与武市半平太、坂本龙马曾参赛于桃井道场的击剑大会，但事实上武市与坂本9月间已归土佐藩，并不在江户。
志向留学・开国・破约攘夷之志士.担任练兵馆塾头的同时，受培里再度来航（1854年）之刺激后，立刻经师傅斋藤弥九郎介绍，向（伊豆、甲斐、相模等天领五国之代官）提出实际参观的申请（江户时代人民无法自由移动），以随从的