妻和三名儿子失散。直至开元五年时，高力士成为权宦，相信是经其努力，才获唐玄宗平反。追赠广州大都督，其妻麦氏于泷州被岭南节度使寻获并送到京师，玄宗封其妻越国夫人。他的墓碑于1955年西安市东郊高楼村出土。刻于唐开元十七年（729年），边长72厘米。志盖篆书故潘州冯府君墓志铭九字，周边刻瑞兽间蔓草花纹。志文楷书，二十五行，行二十五字。撰者为开元间宰相张说，无书者姓名。志记冯君衡，为苗裔，因其少子高力士为右监门大将军，高力士在开元十七年（729年）葬其母麦氏时，恩诏追赠其父冯君衡为广州大都督，招魂而与其母合葬