一般认为，慈氏塔重建于北宋年间。但是关于其最早的修建历史，目前尚存争议。宋朝的《岳阳风土记》及明朝的《隆庆岳州府志》关于其建造年代有“晋创”、“唐建”的说法，一般认为该塔始建于唐代，唐显庆三年（658年），这里曾经建有佛楼（世称“南屠”或“南楼”），后梁干化四年（914）南楼故址修建了一座木质结构的“一字关”塔，此塔即是慈氏塔的前身，该塔毁在北宋熙宁年间于毁于一场大火，现存古塔为南宋荆湖制置使孟珙于淳祐二年（1242年）所建。而中国管理科学研究院特约研究员段福林认为其可能是“始于唐代，建于五代，重修于宋”。