间冯缵斋集两废园山石精粹修筑此园，取“妆奁绮丽”之意命名为绮园。1949年后冯氏后裔将园宅献给政府，1960年至1961年被辟为嘉兴专区工人疗养院，1963年对外开放，1967年重修并更名为人民公园，1985年6月恢复原名。中央电视台曾在此拍摄电视剧《红楼梦》、《聊斋》等。
建筑.该园分住宅、园林两部分，住宅部分建于清同治九年（1870），建筑面积约800平方米，原有门厅、大厅和堂楼（内宅）等，大厅名三乐堂，今仅存最后一进堂楼，面阔七间二层，进深九檩，硬山顶，前有砖雕门楼，门额砖雕