溯至五代十国时期，原在湖滨，明嘉靖时改建于湖心，此后在其周围增筑亭榭等附属建筑，形成以烟雨楼为中心的园林建筑群，现状烟雨楼建于民国七年（1918），其它建筑多建于清同治时期。
历史.按明清方志考证，烟雨楼始建于五代十国，最初为吴越国钱元璙所筑登临眺望之所，位于湖滨（当代有观点根据方回咏烟雨楼诗中“楼压重湖”和“隔林双塔”的描述，将其旧址考证为滮湖和鸳鸯湖两湖交界处），南宋建炎时废，嘉定年间吏部尚书王希吕重建，元代又毁。元代至元《嘉禾志》中录有南宋至元初时方回（方万里）、叶隆礼、朱南