1941年3月15日,张灵甫代理58师师长,指挥58师参加上高会战。58师在9月的第二次长沙会战中损失惨重。战后,师长廖龄奇被蒋介石下令枪决。廖龄奇死后,10月24日,张灵甫被任命为第74军第58师代师长。冬,升任第74军第58师少将师长。1942年6月,浙赣会战,张灵甫率58师在衢州外围与日军血战3日。6月13日,张灵甫率58师主力收复瓮安。11月,常德会战,张灵甫率58师收复黄石、九溪。1944年5月,张灵甫任74军副军长兼58师师长参加第四次长沙会战。此后张灵甫一直在湘乡至邵阳一线继续与敌40师团鏖战。1944年5月10日,张灵甫会同前来增援的第19师一起克复永丰,之后暂留守永丰抓紧进行战地整补。6月,24集团军改编为第4方面军,王耀武升任方面军司令,施中诚仍是74军军长,张灵甫升任副军长。1945年2月,被国民政府授予陆军少将军衔。1945年2月,张灵甫经第24集团军总司令王耀武和74军老军长俞济时的保荐,进入重庆陆军大学甲级将官班第二期学习,直到6月18日毕业返回湘西正在战后休整的74军,随后以第74军副军长的身份参加了湘西会战。1945年8月日军投降后,74军57师配属新6军空运南京受降,张灵甫升任74军中将军长兼南京卫戍司令。1946年6月,第74军改编为整编74师(军),辖整编51旅、57旅、58旅共3万余人,军长张灵甫改任师长。