可以频繁往来。郭衍假称桂州俚族反抗，杨广上奏推荐郭衍去讨伐。以此为理由改修兵器，养成兵士。太子杨勇被废，杨广入为太子，郭衍回朝为左监门率、左宗卫率。文帝在仁寿宫病重，太子杨广和杨素矫诏，命令郭衍、宇文述率东宫之兵宿卫，禁止出入宫禁。文帝驾崩，杨广即位为隋炀帝，汉王杨谅反叛，京师长安兵力空虚，隋炀帝派郭衍急行回京，守备京城。605年，郭衍任左武卫大将军。炀帝幸江都，郭衍统左军，改授光禄大夫。跟随炀帝征伐吐谷浑，出金山道。郭衍能揣上意，阿谀奉承的做法使他取悦于隋炀帝，却遭到了天下人的讥讽。郭衍常劝炀帝五天一