他的感情自然有所差别。加上许多他执行的暗杀事件一一曝光后，使得其他同志因此感受到危机感，所以同志们本来希望以藏能自己自杀而不要洩漏相关计画，但在得知成功后感到愤怒和焦躁，另外以藏虽然隶属将尊王攘夷和倒幕当作目标的勤王党，然而他却因为又担任「开国派幕臣」胜海舟的护卫，所以被勤皇派的人看作是「虽然剑术高超但却意志不坚的人」而遭受他们轻蔑，所以这点也能视为以藏因此被同志看不起的原因之一。