志》中录有南宋至元初时方回（方万里）、叶隆礼、朱南杰、唐天麟和吴潜咏烟雨楼的诗词，为烟雨楼一名最早的文献记载。明嘉靖二十七年（1548）嘉兴知府赵瀛组织疏浚府城护城河，用挖出的淤泥在南湖湖心堆成小岛，次年建楼并沿用旧名，隆庆五年（1571）嘉湖兵备道沈奎重修并于楼后（南侧）增筑石台，万历十年（1582）知府龚勉继续加筑石台名钓鳌矶，其后陆续在楼周围增筑亭榭，形成主体建筑为烟雨楼与大士阁两进，左右有浮玉、凝碧两亭、文昌、武安两祠以及禅定斋、观空室两室的格局，万历二十七年（1599）知府刘应钶重修，三十三年