历初，遭司刑评事万国俊诬陷他和流人(被流放者)串通谋反。697年武则天任命李千里为岭南讨击使，冯君衡与堂兄弟冯子犹（一作子游）、堂姪冯梧（许敬宗外孙）先后阵亡。冯君衡死后，其妻和三名儿子失散。直至开元五年时，高力士成为权宦，相信是经其努力，才获唐玄宗平反。追赠广州大都督，其妻麦氏于泷州被岭南节度使寻获并送到京师，玄宗封其妻越国夫人。他的墓碑于1955年西安市东郊高楼村出土。刻于唐开元十七年（729年），边长72厘米。志盖篆书故潘州冯府君墓志铭九字，周边刻瑞兽间蔓草花纹。志文楷书，二十五行，行二十五字