曹操让他继续留任并州刺史。高干表面上归顺朝廷，但随后在建安十年（205年），高干乘曹操征伐逃到乌桓的袁熙和袁尚而在并州叛变，劫持上党太守，据守壶关，与李典和乐进率领的曹军相持数月。次年曹操亲征高干，壶关被攻破，高干于是留部将夏昭和邓升守城，自己亲身向匈奴单于求援，但失败。
被杀.高干于是与数骑南下荆州打算投奔刘表，于道上被司隶校尉王琰所杀，献首于曹操。上洛都尉王琰获高干，以功封侯；他的妻子因此在屋子里痛哭，认为王琰在富贵以后将会再娶妾室，不再宠爱自己了。