。曾任外务大臣政务官、总务副大臣、衆议院内阁委员长、内阁总理大臣补佐官等职务，现任文部科学大臣。从东京大学毕业后先在住友不动产工作，后于1998年通过司法考试，并于2年后进入虎门中央法律事务所担任律师。2004年因违反公职选举法辞去众议院议员职务而在埼玉县第8区的补选中当选，进入政界。柴山在2018年被安倍晋三任命为第4次安倍改造内阁的文部科学大臣，是他第一次进入内阁任职。另外，同批就任法务大臣的山下贵司是其在东京大学时代的同期生。