《韵海镜源》本在杼山，后人慕其事而名此楼耳。」1984年8月，湖州市人民政府公佈韵海楼为市级文物保护单位。
历史.韵海楼本建于州治后（今人民公园），南宋时楼废。明成化《湖州府志》记载「韵海楼，则明代尚有重建之韵海楼」。此楼清康熙六年（1667年），湖州知府吴绮作《玉楼春》词咏韵海楼，「词序」称：「韵海楼在郡治区，颜真卿守是土，延诸名士作《韵海镜源》一书于上，朱甍画栋，宏敞壮丽，为一郡大观」。中华人民共和国成立后楼内设文化馆和图书馆。1991年，人民公园改建，韵海楼移至飞英公