肯向北魏投降，于是逃亡至高句丽，其族人冯业带同三百人渡海归降刘宋。后来冯弘死于高句丽，于是宋文帝任命冯业为高州刺史。至冯业之孙冯融，出仕南朝梁的罗州刺史。冯融的儿子冯宝，娶南越族大姓冼氏女冼夫人为妻。遂成为南越族首领，权倾岭南（今广东、广西、海南，福建、越南北部一部份。）。因此高州冯氏自冯业开始逐渐垄断岭南各地刺史接近三百年。武周圣历时，父亲冯智玳逝世，冯君衡袭其位。圣历初，遭司刑评事万国俊诬陷他和流人(被流放者)串通谋反。697年武则天任命李千里为岭南讨击使，冯君衡与堂兄弟冯子犹（一作子游）、堂姪冯梧