庆三年（658年），这里曾经建有佛楼（世称“南屠”或“南楼”），后梁干化四年（914）南楼故址修建了一座木质结构的“一字关”塔，此塔即是慈氏塔的前身，该塔毁在北宋熙宁年间于毁于一场大火，现存古塔为南宋荆湖制置使孟珙于淳祐二年（1242年）所建。而中国管理科学研究院特约研究员段福林认为其可能是“始于唐代，建于五代，重修于宋”。但是岳阳文史专家陈湘源在《慈氏塔的性质与始建年代辨析》中分析认为，慈氏塔“晋创”、“唐建”的说法并不准确，他认为这主要是因为在慈氏塔附近，原有一座干明古寺，古寺始建于晋，在晋、唐两代也曾