578年），担任右中军熊渠中大夫。580年，尉迟迥之乱爆发，郭衍从韦孝宽于武陟作战，进军相州。尉迟迥败死，尉迟迥侄尉迟勤、尉迟迥子尉迟惇、尉迟祐逃亡青州。郭衍率精鋭骑兵一千追击，擒获尉迟祐。入济州城，在济北攻击尉迟氏残党，连战击破。超授上柱国，封武山郡公。密劝杨坚杀北周皇室诸王，早行禅代即位，由是与杨坚关系甚密。581年，隋朝建国，杨坚即位，勅命恢复姓氏郭氏。突厥侵入隋朝北边、郭衍以行军总管率兵镇守平凉，突厥不敢入扰。数年后，召还为开漕渠大监。引渭水经由大兴城北，东至潼关，开运河400里。关中利用灌