但亦有媒体表示其为1954年10月出生。他是河南省濮阳市孟轲乡东白仓村人。谷小时候就读东白仓小学，初中在南里乡中学就读，初中毕业后不久，17岁的谷俊山入伍参军。他于沈阳军区航空兵16师48团机务大队二中队服役。最初谷俊山是仪表员，1974年前后提升至排长级的特设师，分管飞机仪表、电器。据军中同事称他热衷于与上级打好关系。后来他认识了时任团副政委张龙海的女儿张素燕，展开爱情攻势。二人的关系曾遭到张龙海反对，甚至将谷俊山调往16师位于吉林省海龙县（现梅河口市）山城镇机务教导队当新兵训练教员，但张素燕很快也跟