军兵临后燕都城中山（今河北省定州市）。张衮效仿郦食其、鲁仲连，写信让慕容宝撤退。道武帝听从他的意见，命张衮写信给慕容宝，慕容宝逃亡和龙（今辽宁省朝阳市）。中山陷落，张衮以功任奋武将军，幽州刺史。封临渭侯。天兴元年（398年），召还国都平城（今山西省大同市）。天兴二年（399年），张衮推荐的范阳卢溥反叛，推荐的崔逞给东晋郗恢的回信不合道武帝的旨意，道武帝大怒，贬黜张衮为尚书令史。永兴二年（410年）得病去世。享年七十二。追赠太保，谥文康公。