小柴教授退休后的相当热衷电子游戏，曾自称是「世界最高龄的电玩迷」。《最终幻想》是他最喜欢的游戏。此外，他也是zh-hans:古典音乐; zh-hant:古典音乐的爱好者，尤其喜欢莫札特的作品。小柴获得诺贝尔物理学奖的隔天，岛津制作所的工程师田中耕一即获得诺贝尔化学奖，写下历来日本人获奖的最短间隔（不到24小时）。与长年预期获奖的小柴相比，默默无名的田中被视为「上班族的诺贝尔传奇」，立即吸走了镁光灯。事实上，小柴显得不悦是因为「媒体採访的水准太低」。