出版社工作，后来担任日本电视台资讯节目《WEEKENDER》的报导员、报纸《产经生活新闻》的编辑长，以及政府宣传节目的报导员。1989年获得民社党提名参选第15届日本参议院议员通常选举，但是落选。2000年再度投身政界，获得民主党提名参选第42届日本众议院议员总选举并顺利当选。2002年和熊谷弘等人离开民主党，参加保守新党。2003年大选山谷不幸落选，保守新党也併入自民党，山谷成为自民党的一员。2004年山谷转战参议院，参选第20届日本参议院议员通常选举，成功当选并连任至今。2005年担任第三次小泉