一説には、安政5年（1858年）10月、小五郎が武市半平太や坂本龍馬と、士学館の撃剣会で試合をしたとされるが、当時の武市・坂本は前月から土佐国に帰郷していたとの説もある。
流传在安政5年（1858年）10月，小五郎与武市半平太、坂本龙马曾参赛于桃井道场的击剑大会，但事实上武市与坂本9月间已归土佐藩，并不在江户。