同时兼顾公司工作和国际奥委会委员的工作，美亚保险公司将其调至其他分社担任闲职。在担任国际奥委会委员期间，他曾在1987年至1991年以及1996年至2000年担任国际奥委会执行委员会的委员。除此之外，他还曾参加过长野申办1998年冬奥会以及东京申办2016年夏奥会的筹备工作。2005年7月，在新加坡举行的第117届国际奥委会全体会议上，猪谷成功当选国际奥委会副主席，获得4年任期。2011年6月23日，日本体育大学授予猪谷名誉博士学位。同年年底，他因年满80岁而不再担任国际奥委会委员，不久后，他成为奥委会名誉