十年八月戊戌（559年9月30日），封为广阳王，同年十二月（560年1月28日），改封范阳王。两个叔叔在位时，高绍义历位侍中、清都尹。少年时像其父高洋一样嗜酒任性，561年时曾酒后闹事将博士任方荣殴打致死，被其叔武成帝高湛抓来打了二百棍，送去交给其嫡母李祖娥，李祖娥下令再打二百棍。后主高纬时，高绍义任尚书令、定州刺史。578年，北齐灭亡，高绍义逃往突厥，因突厥他钵可汗认为高洋是英雄天子，高绍义受到爱重，北齐被灭后逃到北边者，都归高绍义管辖。578年，高保宁在营州奉高绍义为北齐皇帝，用武平年号，作武平九年