以财团法人型态官民合资4万多圆兴建，于1911年2月完工。当时是叫做台南公馆，1923年改称台南公会堂，是当时市民重要的集会场所，也兼具教化百姓的功能。当时台南市甚至台南州、高雄州重要公共政策之制定和演讲、集会等均在此举行，而台湾文化协会成立后，蔡培火、连横等人亦在此处演讲。二次大战后，改称为中山堂，为空军新生社和军友社使用，后来又于1955年6月改为省立台南社教馆并予以整修。而在社教馆于1994年移到台南市五期重划区后，该建筑一度因位于市中心而有拆除作为商业区兴建大楼之议，最后此议作废，该建筑改为吴园