长衡会战展开后，张灵甫率领第五十八师从湘潭公路青树坪转到衡寳公路，参加衡阳外围战斗，主攻鸡窝山日军据点。指挥所部向衡阳进逼，抵达市郊五里牌。虽然守卫衡阳的第十军军长方先觉在坚守47日后寡不敌众被迫向日军投降，衡阳终于陷落，但是张灵甫仍因增援得力获三等宝鼎勋章。1944年5月30日，张灵甫任第七十四军副军长；1945年2月20日，张灵甫任少将。1944年下半年，被选拔到陆军大学将官班受训。当时，他是少将级副军长，本来只能进乙级班，经申报蒋介石批准，进入甲级班，成为该班唯一少将级军官，他经常引以自豪。