选举并顺利当选。2002年和熊谷弘等人离开民主党，参加保守新党。2003年大选山谷不幸落选，保守新党也併入自民党，山谷成为自民党的一员。2004年山谷转战参议院，参选第20届日本参议院议员通常选举，成功当选并连任至今。2005年担任第三次小泉内阁的内阁府大臣政务官；2006年担任第一次安倍内阁的内阁总理大臣补佐官（教育再生担当）兼内阁官房教育再生会议担当室事务局长。山谷长期关注朝鲜绑架日本人问题，现任自民党治安及恐怖活动对策调査会副委员长、自民党北朝鲜绑架问题对策本部本部长。2014年首次入阁，被任