004年山谷转战参议院，参选第20届日本参议院议员通常选举，成功当选并连任至今。2005年担任第三次小泉内阁的内阁府大臣政务官；2006年担任第一次安倍内阁的内阁总理大臣补佐官（教育再生担当）兼内阁官房教育再生会议担当室事务局长。山谷长期关注朝鲜绑架日本人问题，现任自民党治安及恐怖活动对策调査会副委员长、自民党北朝鲜绑架问题对策本部本部长。2014年首次入阁，被任命为第二次安倍改造内阁的国家公安委员会委员长兼内阁府特命担当大臣（防灾、绑架问题、国土强韧化、海洋政策、领土问题担当）。