左长史，参谋军事，深受礼遇。与黄门侍郎崔宏同掌机要。登国二年（387年），道武帝讨伐刘显，张衮进言联合后燕慕容垂，道武帝采纳。登国三年（388年）跟随道武帝讨伐贺讷。道武帝与群臣登勿居山，游宴终日。命张衮作功德碑文。登国六年（391年）跟随道武帝讨伐柔然。登国十年（395年）进攻后燕慕容宝，张衮进言先骄后克之法。道武帝采纳张衮之言，参合陂之战（今内蒙古凉城县东北岱海）获得胜利。皇始元年（396年），张衮转任给事黄门侍郎。随道武帝南征，率军兵临后燕都城中山（今河北省定州市）。张衮效仿郦食其、鲁仲连