临眺望之所，位于湖滨（当代有观点根据方回咏烟雨楼诗中“楼压重湖”和“隔林双塔”的描述，将其旧址考证为滮湖和鸳鸯湖两湖交界处），南宋建炎时废，嘉定年间吏部尚书王希吕重建，元代又毁。元代至元《嘉禾志》中录有南宋至元初时方回（方万里）、叶隆礼、朱南杰、唐天麟和吴潜咏烟雨楼的诗词，为烟雨楼一名最早的文献记载。明嘉靖二十七年（1548）嘉兴知府赵瀛组织疏浚府城护城河，用挖出的淤泥在南湖湖心堆成小岛，次年建楼并沿用旧名，隆庆五年（1571）嘉湖兵备道沈奎重修并于楼后（南侧）增筑石台，万历十年（1582）知府龚勉继续