高泰之子高湖，三世仕慕容氏。高湖的儿子高谧被流放怀朔镇，后世居于此，因为“累世北边，故习其俗，遵同鲜卑”，令家族后来鲜卑化。《北齐书·神武上》记载他“目有精光，长头高颧，齿白如玉，少有人杰表。深沉有大度，轻财重士，广结士人，为豪侠所宗。”高欢的母亲韩期姬是高树生的正室，在他出生后不久即去世，高树生将他交给高欢姐姐高娄斤和姐夫尉景抚养长大。在六镇起义爆发后，先后投靠杜洛周、葛荣，后来投奔尔朱荣。他向尔朱荣提出讨伐胡太后亲信郑俨、徐纥而清君侧，受尔朱荣赏识。在河阴之变后，尔朱荣掌握朝政，高欢被封为晋州刺史。