义受到爱重，北齐被灭后逃到北边者，都归高绍义管辖。578年，高保宁在营州奉高绍义为北齐皇帝，用武平年号，作武平九年。580年，北周派贺若谊劝他钵可汗交出高绍义，他钵可汗同意了，高绍义在和他钵可汗打猎的时候，被贺若谊所擒，带回中原，流放蜀地。高绍义之妃封氏，自突厥逃归。高绍义在蜀，给封妃写信：“夷狄无信，送吾于此。”多年之后，高绍义死在蜀地。
儿子.高辨才，出继兄长高绍德