形成主体建筑为烟雨楼与大士阁两进，左右有浮玉、凝碧两亭、文昌、武安两祠以及禅定斋、观空室两室的格局，万历二十七年（1599）知府刘应钶重修，三十三年（1605）以滮湖为放生池，由董其昌书“鱼乐国”三字并立碑。崇祯末年又毁。清顺治十八年（1661）知府许焕拟重建未成（一说重建不久即废），康熙二十年（1681）同知李舜有捐资千金重建，不久又毁，雍正八年（1730）总督李卫再度重建。通过康熙六十年（1721）《嘉兴府志》烟雨楼图和干隆三十五年（1770）《南巡盛典》烟雨楼图的比较，在雍干期间烟雨楼被移至南侧原