天皇用明天皇之孙，其父不详，是皇极·齐明天皇宝皇女的前夫。高向王的父亲不详，生平不详。与宝皇女成婚，宝皇女是第30代天皇敏达天皇曾孙，押坂彦人大兄皇子之孙，茅渟王女儿。高向王和宝皇女的儿子是汉皇子。宝皇女后来嫁给了押坂彦人大兄皇子的儿子第34代天皇舒明天皇，生下中大兄皇子、大海人皇子。小林惠子认为大海人皇子就是汉皇子，是高向王而不是舒明天皇的儿子。