祖辈一直在伊势国活动，承保二年（1075年）与天台宗僧人良心合谋在桑名郡东寺的分寺多度神宫寺押妨庄园。朝廷裁定此行为并没有问题，这视为平正衡在伊势有活跃的军事行动。另一方面，他也出仕藤原师实，参与了京都附近的治安。承历三年（1079年）延历寺的僧兵在强诉时，他与兄长平季衡及负责防卫京都。康和元年（1099年）任职出羽守后，史籍再无他的纪录。