南越族大姓冼氏女冼夫人为妻。遂成为南越族首领，权倾岭南（今广东、广西、海南，福建、越南北部一部份。）。因此高州冯氏自冯业开始逐渐垄断岭南各地刺史接近三百年。武周圣历时，父亲冯智玳逝世，冯君衡袭其位。圣历初，遭司刑评事万国俊诬陷他和流人(被流放者)串通谋反。697年武则天任命李千里为岭南讨击使，冯君衡与堂兄弟冯子犹（一作子游）、堂姪冯梧（许敬宗外孙）先后阵亡。冯君衡死后，其妻和三名儿子失散。直至开元五年时，高力士成为权宦，相信是经其努力，才获唐玄宗平反。追赠广州大都督，其妻麦氏于泷州被岭南节度使寻获并