富堪称府城第一，而有俚语「有楼仔内的富，也无楼仔内的厝；有楼仔内的厝，也无楼仔内的富。」然而到了日治时期，吴家家道中落，产权为台南厅所有，吴园的南边在明治四十四年（1911年）兴建了台南公馆（后称台南公会堂），西南方建有当时知名的四春园旅馆，西北角于大正九年（1920年）台南图书馆，北侧于大正十一年（1922年）兴建了「台南市水浴场」（即游泳池）。而四春园旅馆、台南图书馆和台南市水浴场在民国63年（1974年）被卖给了远东百货公司，即今远百公园店所在地。民国83年（1994年）台南社教馆（今国立台南