温州子城南门上建有谯楼，因此称谯门。明朝时，楼内设有铜壶刻漏，掌管全城计时标准；又设有鼓、角，每天早晚定时击鼓、吹角。因此又称鼓楼。清朝时，谯楼上设有文昌祠，谯楼东有关帝庙，谯楼西有玄坛庙，故温州旧时有谜语说：“上有孔圣人，下有弯洞门，左边看三国，右边望封神。”谜底即为鼓楼。中华民国大陆时期，城门上改建砖木结构建筑。1925年，用作温属公立图书馆分馆。1929年，在时任永嘉县教育局长王人驹推动下，在谯楼设立县立民众教育馆，举办夜校、科普展览、抗日宣传等文教活动。1949年后，谯楼改为二层楼房，用作民