柴田は騎手時代を通じて「厩舎社会の義理」を非常に重視したことで知られ、複数の騎乗馬の選択に際しては、馬の能力よりも過去の恩義や人間関係を優先し、また他騎手の騎乗馬を奪う形での乗り替わりを嫌った。