吴园是清道光八年或九年（1828年或1829年）时，经营盐业致富的吴尚新买下其宅地北边荷兰时期的通事何斌庭园整建而成，当时又称「楼仔内」。因当时吴家财富堪称府城第一，而有俚语「有楼仔内的富，也无楼仔内的厝；有楼仔内的厝，也无楼仔内的富。」然而到了日治时期，吴家家道中落，产权为台南厅所有，吴园的南边在明治四十四年（1911年）兴建了台南公馆（后称台南公会堂），西南方建有当时知名的四春园旅馆，西北角于大正九年（1920年）台南图书馆，北侧于大正十一年（1922年）兴建了「台南市水浴场」（即游泳池）。而四春