被其叔武成帝高湛抓来打了二百棍，送去交给其嫡母李祖娥，李祖娥下令再打二百棍。后主高纬时，高绍义任尚书令、定州刺史。578年，北齐灭亡，高绍义逃往突厥，因突厥他钵可汗认为高洋是英雄天子，高绍义受到爱重，北齐被灭后逃到北边者，都归高绍义管辖。578年，高保宁在营州奉高绍义为北齐皇帝，用武平年号，作武平九年。580年，北周派贺若谊劝他钵可汗交出高绍义，他钵可汗同意了，高绍义在和他钵可汗打猎的时候，被贺若谊所擒，带回中原，流放蜀地。高绍义之妃封氏，自突厥逃归。高绍义在蜀，给封妃写信：“夷狄无信，送吾于此。”