楫粮船，以充军实。讨伐东阳、永嘉、宣城、黟县、歙县的少数民族，平定江表诸地。任蒋州刺史。郭衍还善于管理百姓，做地方官时确实能为人父母。然而，他像很多大臣一样，不可避免地卷入政治斗争。郭衍对下属傲慢对上级谄媚。晋王杨广喜欢他，常常招他参加宴会。转任洪州总管。杨广有夺皇太子之位的阴谋，以郭衍为心腹。派遣宇文述告诉他情况。郭衍高兴，说明谋略，如有不成，有割据江南之议。害怕往来引人怀疑，郭衍说妻子有病，晋王妃萧氏有办法治疗。隋文帝于是准许郭衍和妻子到江都可以频繁往来。郭衍假称桂州俚族反抗，杨广上奏推荐郭衍去讨伐