8年通过司法考试，并于2年后进入虎门中央法律事务所担任律师。2004年因违反公职选举法辞去众议院议员职务而在埼玉县第8区的补选中当选，进入政界。柴山在2018年被安倍晋三任命为第4次安倍改造内阁的文部科学大臣，是他第一次进入内阁任职。另外，同批就任法务大臣的山下贵司是其在东京大学时代的同期生。