猪谷出生于北海道国后岛，他的父亲猪谷六合雄被称为日本滑雪界的先驱，母亲猪谷定子则是日本第一位女子跳台滑雪运动员。大约2岁的时候，他就开始在其父母那里接受严格的滑雪训练。后来，一家人为了寻求良好的练习环境，曾移居至群马县势多郡富士见村（现已并入前桥市）、长野县乘鞍岳、青森县浅虫、长野县志贺高原等地。11岁时，他作为非正式参赛选手参加了神宫大会（现日本滑雪锦标赛），他在比赛中表现突出，成绩比同项目的冠军选手快了6秒，当时的媒体见此状惊唿道“神童出现了！”1951年年底，猪谷偶然结识了美亚保险（）的创办人科尼