高大的台基与上部楼身组成。台基东西长43.3米，南北宽33.3米，石券门洞纵贯台基南北，东北部分设有长25.09米的上楼马道，马道两端各有大门一道。楼身高26.7米，共三层，每层面阔七间，进深五间，四周有回廊，二层设勾栏，三层在勾栏之下设平坐。每层檐下施斗栱，共用七种，梁架精巧，结构独特。楼上悬挂“声闻四达”、“威震三关”、“雁门第一楼”三块大匾。楼侧有唐代经幢一座，也是珍贵的文物遗存。