因军功受位大将军，改封真乡郡公，受位左宫伯。后历任定州刺史、鄜州刺史。580年，王谦在益州作乱，李衍受杨坚之命担任行军总管，在梁睿属下平定叛乱，进位上大将军。581年，隋朝建立，李衍为行军总管讨平南方少数民族作乱，进位柱国。不久又任检校利州总管事。582年，突厥入侵隋朝北边，李衍担任行军总管率兵迎击，未见敌人而还。转任介州刺史。数年后，攻打南朝陈，李衍在襄州道营造战船。588年，隋军大举攻陈，李衍为行军总管在秦王杨俊属下由襄阳道出击。担任安州总管，有善政。一年后，因病回到长安，在家中去世。享年五十七岁。