山西南部只有临汾县城一座孤城。为防止临汾守军北撤，徐向前在翼城进行部队整训，并总结运城攻坚战的经验，动员攻打临汾。抗日战争时期，日军在临汾修筑了坚固的工事，而此后阎锡山、胡宗南部对临汾城内外又增加防御设备，构成四道防线体系。临汾守军共有两万五千人，包括胡宗南第30旅和阎锡山的第66师，由梁培璜负责守卫。对此，徐向前布置作战部署，以赵城、洪洞一带部队负责防止国军北撤；吕梁部队负责汾河以西，牵制城西守军；八纵负责城南；13纵负责城东；太岳部队负责城北，三面围城。3月6日，有运输机飞抵临汾机场，胡宗南企图运走国军