鼓楼建于明洪武十三年(1380年),比钟楼早4年。是在元朝“报时楼”的基础上改建的。清康熙三十八年(1699年)及乾隆五年(1740年)曾两次重修。明清时,楼上置一面大鼓,傍晚时即击鼓报时。
鼓楼楼体呈长方形,上下三层,歇山式建筑。东西长52米,南北宽37米,基座高8.7米,从地平至楼顶总高33米。楼基正中辟有南北券拱门洞,宽、高各6米,北至北院门,南达西大街。鼓楼楼顶为绿色琉璃瓦所覆,庄重典雅。在南北两面楼檐下,原悬有两块匾额,南面一块上书“文武盛地”,是清朝乾隆御书摹刻;北面一块上书“声闻于天”,相传是咸宁李允宽所书。