其先伊尹者，实佐于汤，谓之“阿衡”，以官命氏。汉儒林大夫衡咸之后，晋相国府参军衡凯之十代孙。高祖父衡则，北周大将军。曾祖父衡挺之（衡生），隋莱州别驾、本州大中正，唐赠青齐淄三州刺史。祖父衡长孙，唐左监门将军，岚、朔、翼、渭四州刺史，长山县开国公。父衡义整，朝议大夫、上柱国、伊州刺史。
生平.衡守直六岁时，母亲河南郡君元氏口授孝经数十字，闻则便诵，因而叹曰：“光享我宗，其在是矣。”八岁，读老、庄，阅坟素。十六，游太学，讨群书。十八，旋本郡，应宾举。调补沧州胡苏尉。无何，刺史陈敬之