是落选。2000年再度投身政界，获得民主党提名参选第42届日本众议院议员总选举并顺利当选。2002年和熊谷弘等人离开民主党，参加保守新党。2003年大选山谷不幸落选，保守新党也併入自民党，山谷成为自民党的一员。2004年山谷转战参议院，参选第20届日本参议院议员通常选举，成功当选并连任至今。2005年担任第三次小泉内阁的内阁府大臣政务官；2006年担任第一次安倍内阁的内阁总理大臣补佐官（教育再生担当）兼内阁官房教育再生会议担当室事务局长。山谷长期关注朝鲜绑架日本人问题，现任自民党治安及恐怖活动对策调査会