九年（1920年）台南图书馆，北侧于大正十一年（1922年）兴建了「台南市水浴场」（即游泳池）。而四春园旅馆、台南图书馆和台南市水浴场在民国63年（1974年）被卖给了远东百货公司，即今远百公园店所在地。民国83年（1994年）台南社教馆（今国立台南生活美学馆）从原台南公会堂迁走后，此地曾有改建商业大楼之议，后作废，园子遂能保存至今。民国107年（2018年）9月9日，设在吴园水榭的「王育德纪念馆」正式开幕。