日本爱知县丰桥市，是旧日本帝国陆军大佐小柴俊男之子。幼时曾梦想当军人或音乐家，但在12岁忽然罹患小儿麻痺症，其后遗症造成右臂残疾，致使梦想破灭。然而，就在他住院期间，导师送了他一本爱因斯坦的书，却使他从此走上了物理研究的道路。小柴在1951年毕业于东京大学理学部物理学专业，1955年取得美国纽约罗彻斯特大学的物理学博士学位，1967年取得东京大学理学博士学位，师从1965年诺贝尔物理学奖得主朝永振一郎。1955年7月至1958年2月间，小柴担任芝加哥大学物理系研究助理。其后至1963年10月间担任东京大