宋时楼废。明成化《湖州府志》记载「韵海楼，则明代尚有重建之韵海楼」。此楼清康熙六年（1667年），湖州知府吴绮作《玉楼春》词咏韵海楼，「词序」称：「韵海楼在郡治区，颜真卿守是土，延诸名士作《韵海镜源》一书于上，朱甍画栋，宏敞壮丽，为一郡大观」。中华人民共和国成立后楼内设文化馆和图书馆。1991年，人民公园改建，韵海楼移至飞英公园。