初为清道光年间士绅潘曾琦之宅。清同治时期，浙江上虞人柴安圃因至吴江同里当官，后即定居苏州。在光绪年间购入醋库巷柴园之地，于宅西南侧造园，光绪九年（1883年）落成，称为柴园。到柴安圃去世，其子将园改名为絸（茧）园，自号絸园主人。但民间依然唿为柴园。抗日战争后，柴园被占为民居，逐渐散乱，建筑遭到破坏毁损。1950年，苏州南区政府将此作为办公地。1957年起，柴园为苏州市盲聋学校所用。后原园内住宅部分陆续被拆除，新建三层教学楼等建筑，花园部分尚有较多存留。1980年规划进行修复。1982年被列为苏州市文物保