其妻麦氏于泷州被岭南节度使寻获并送到京师，玄宗封其妻越国夫人。他的墓碑于1955年西安市东郊高楼村出土。刻于唐开元十七年（729年），边长72厘米。志盖篆书故潘州冯府君墓志铭九字，周边刻瑞兽间蔓草花纹。志文楷书，二十五行，行二十五字。撰者为开元间宰相张说，无书者姓名。志记冯君衡，为苗裔，因其少子高力士为右监门大将军，高力士在开元十七年（729年）葬其母麦氏时，恩诏追赠其父冯君衡为广州大都督，招魂而与其母合葬。此志证明高力士原姓冯，后为宦官高延富收养，而从其姓。现藏西安碑林博物馆。冯君衡次子冯元珪也有墓志