国六年（391年）跟随道武帝讨伐柔然。登国十年（395年）进攻后燕慕容宝，张衮进言先骄后克之法。道武帝采纳张衮之言，参合陂之战（今内蒙古凉城县东北岱海）获得胜利。皇始元年（396年），张衮转任给事黄门侍郎。随道武帝南征，率军兵临后燕都城中山（今河北省定州市）。张衮效仿郦食其、鲁仲连，写信让慕容宝撤退。道武帝听从他的意见，命张衮写信给慕容宝，慕容宝逃亡和龙（今辽宁省朝阳市）。中山陷落，张衮以功任奋武将军，幽州刺史。封临渭侯。天兴元年（398年），召还国都平城（今山西省大同市）。天兴二年（399年）