大将军。祖衡生（衡挺之），隋莱州别驾、本州大中正。父衡长孙，唐岚、朔、翼、渭四州刺史，左监门卫将军，长山县开国公。
生平.衡义整起家右勋卫，俄授蒋王府兵曹参军事。累迁夏州宁朔、瀛洲清苑二县令。特加朝散大夫、行普州长史、胜州都督府司马、西州都督府长史。恩制授朝议大夫、使持节伊州诸军事、伊州刺史。永昌元年四月廿一日（689年5月15日）薨于官舍，粤以天授二月十八日，与夫人元氏河南郡君合葬于洛阳县清风乡之原。嗣子衡守直。