Em 19 de setembro de 1863, Heg liderou sua brigada na Batalha de Chickamauga, onde foi mortalmente ferido. Heg "foi atingido pelas entranhas e morreu no dia seguinte". Ao ouvir a morte de Heg, Rosecrans se arrependeu, dizendo que pretendia promover Heg ao general de brigada. Heg foi um dos três coronéis do Wisconsin morto em combate durante a Guerra Civil.