有玄坛庙，故温州旧时有谜语说：“上有孔圣人，下有弯洞门，左边看三国，右边望封神。”谜底即为鼓楼。中华民国大陆时期，城门上改建砖木结构建筑。1925年，用作温属公立图书馆分馆。1929年，在时任永嘉县教育局长王人驹推动下，在谯楼设立县立民众教育馆，举办夜校、科普展览、抗日宣传等文教活动。1949年后，谯楼改为二层楼房，用作民居，后又用作市公安局食堂。1991年，市政府决定迁移住户，重修谯楼。温州籍旅台实业家吴寿松（昌涛）捐赠50万元人民币。1994年，仿古造型的谯楼重建竣工。2011年，谯楼登录浙江省