93年3月他被提拔为濮阳军分区后勤部长，副团级职务。1994年济南军区有首长来濮阳军分区检查工作，谷俊山负责后勤接待，首长对他的能力表示认可，1995年他被调到济南军区生产办公室任副主任，正团级职务。后来他升任济南陆军指挥学院副院长，副师级职务，并得到国防大学进修的机会。2001年7月谷俊山调动到北京，担任解放军总后勤部基建营房部副部长，两年后晋升为少将军衔。2007年6月谷俊山任解放军总后勤部基建营房部部长，全军房改办公室主任。两年后任解放军总后勤部副部长。2011年“八一”建军节前夕，谷俊山晋升中将