成私家庭园，后袁世凯派人调查，索性就改成了李氏祠堂。国民政府时期，此地变成了天津棉纺六厂的职工宿舍。1950年代，天津棉纺六厂的职工迁出。李纯祠堂被辟为天津市第三人民文化宫，也称南开区人民文化宫，天津人简称“三宫”。正门上的南开区人民文化宫牌匾，为郭沫若亲笔题写。后来，天津市第三人民文化宫荒废，群众自发形成古旧图书交易市场，一时间名声大噪。天津市人民政府为保护遗址，勒令天津三宫书市于2007年3月28日彻底清场并对李纯祠堂进行修缮。在修复过程中，工作人员在修复该建筑群大殿时发现屋顶上的琉璃瓦背面烧铸有“