苗木遠山氏と明知遠山氏は、織田家に仕えて天正3年（1575年）に旧領を回復したが、天正11年（1583年）に森長可の侵攻を受けて三河に逃れ徳川家康に仕えた。両氏は天正12年（1584年）の小牧・長久手の戦いや慶長5年（1600年）の関ヶ原の戦いで旧領に攻め込んで戦功を挙げ、苗木遠山氏の遠山友政が苗木藩主として、明知遠山氏の遠山利景が旗本として、それぞれ旧領に復帰した。
しかし、天文24年（1555年）、松尾小笠原氏に続いて木曽氏も甲斐の武田氏に降（くだ）り、苗木の木曽勢も武田氏の傘下に入った。これにより武田氏と美濃斎藤氏は緊張関係に入り、翌弘治元年（1556年）に斎藤氏は遠山領国への出兵を行っている。さらに弘治2年（1557年）の織田・斎藤氏の抗争において武田氏は遠山氏を通じて介入している。武田氏は遠山氏の本拠地である岩村も傘下に収めており、秋山虎繁を派兵し遠山景任の家督継承を支援している。一方、尾張国の織田氏もおつやの方を遠山景任に嫁がせて婚姻関係を築いている。また、『苗木物語中』によると、苗木勘太郎（苗木物語中はこれを遠山友忠とする）は永禄3年（1560年）の桶狭間の戦いに、兵500余騎を率いて織田氏に加勢して勇名をはせ、美濃国にて2万石を受けたとされる。この苗木勘太郎の娘は、永禄8年（1565年）信長養女として武田家に嫁いでおり、織田信長と武田信玄の同盟成立に貢献している。元亀3年（1572年）には、苗木の遠山直廉と岩村の遠山景任が武田信玄の命により、武田氏から離反した飛騨国の三木自綱と戦ったが、同元亀3年（1572年）中に遠山直廉と遠山景任が相次いで没すると、織田信長が苗木城に飯羽間遠山氏の遠山友勝を、岩村城には織田勝長を送り込んだため、同元亀3年（1572年）末に再び秋山虎繁の軍勢が派遣され上村合戦が起きた。東濃は、天正2年（1574年）にも武田勝頼の侵攻を受け、遠山十八支城と呼ばれる、苗木、神野、武節、今見、阿寺、馬籠、大井、中津川、鶴居、幸田、瀬戸崎、振田、櫛原、明知は尽く落城した。この時、串原遠山氏、明照遠山氏、安木遠山氏が滅び、天正3年（1575年）には、織田信長の侵攻により、岩村遠山氏、飯羽間遠山氏が滅んだ。
幼いころは軍人か音楽家を目指していた。12歳の時に罹患した小児麻痺により、両方とも諦めることになったが、その入院中に担任から贈られたアインシュタインの本が物理学者を目指すきっかけとされる。一高時代は落ちこぼれで成績が悪かった。寮（当時の旧制高校は全寮制）の風呂場裏で彼を貶める教師の雑談を聞いてしまい一念発起、寮の同室の同級生（朽津耕三（現・東京大学化学科名誉教授））を家庭教師に物理の猛勉強を始め東大物理学科へ入学。小柴が「やれば、できる」と言う由縁は自らの体験から生まれたものである。天体力学を専門とする天文学者の古在由秀は大学時代からの友人である。そのためSN 1987Aからのニュートリノの検出に成功した時古在が編集委員を務めていた天文雑誌『星の手帖』編集長の阿部昭と『星の手帖』編集委員で天体写真家の藤井旭が小柴と古在の対談を企画した。この対談はニュートリノ検出の翌年である1988年に実現したが、ニュートリノ検出の話よりも小柴と古在の学生時代の思い出話で盛り上がった。自らを「変人学者」「東大物理学科をビリで卒業した落ちこぼれ」と称し、「現場主義の研究者」としての立場を貫いている。東京大学卒業時の成績証明書を公開したことがあり、16教科のうち「優」は2（物理学実験第1と第2のみ）、「良」は10、「可」は4（原子物理学ほか）であった。また、後進の教育・指導にも当たり、「私の研究を受け継いだ者の中からノーベル賞を受賞する研究を成し遂げる者があと2人は出るであろう」と発言した。実際にも彼の愛弟子の一人であった戸塚洋二はノーベル物理学賞の有力候補として注目されていたが、戸塚は2008年にがんで亡くなり、受賞は叶わなかった。しかし、同じく愛弟子の一人である梶田隆章が2015年にノーベル物理学賞を受賞し、戸塚が果たせなかった悲願を実現させている。東大物理学科でも成績は悪かったが朝永振一郎に推薦状を書いてもらい、フルブライト奨学生としてアメリカ合衆国・ロチェスター大学博士課程へ留学。ロチェスター大学では留学生手当てが少なく生活が苦しかったが、博士号 (Ph.D.) を取得し博士研究員として大学に在籍すると給与が倍増されると聞き、1年8ヵ月で博士号を取得した。1年8ヵ月での博士号取得はロチェスター大学での最短記録であり、この記録は現在でも破られていない。大学院生時代に、当時、神奈川県横須賀市にあった栄光学園にて物理の臨時講師を担当した。「この世に摩擦がなければどうなるのか」との質問を生徒に出題。摩擦がないと鉛筆の先が滑って答案は書けない、それ故に正答は「白紙答案」。解答を記入すると不正解になる難問を出題した。