昌黎郡太守。张衮纯厚笃实，好学有文才。张衮初为郡五官掾。魏道武帝拓跋珪为代王时，选拔张衮为左长史，参谋军事，深受礼遇。与黄门侍郎崔宏同掌机要。登国二年（387年），道武帝讨伐刘显，张衮进言联合后燕慕容垂，道武帝采纳。登国三年（388年）跟随道武帝讨伐贺讷。道武帝与群臣登勿居山，游宴终日。命张衮作功德碑文。登国六年（391年）跟随道武帝讨伐柔然。登国十年（395年）进攻后燕慕容宝，张衮进言先骄后克之法。道武帝采纳张衮之言，参合陂之战（今内蒙古凉城县东北岱海）获得胜利。皇始元年（396年），张衮转任