殿拜亭、正殿、后殿拜亭及后殿所组成，而其中三川殿乃因应都市法规而盖之骑楼。由于该庙位于鹫岭上，故进庙须拾阶而上，在当地留下俗谚「上帝庙硶墘（埁漧），水仙宫檐前」（意指上帝庙硶墘（石阶）的高度相当于水仙宫屋檐，或比较高）。另外因玄天上帝是北方之神，而北方在五行中属水色黑，因而庙中柱子是黑色而非常见的红色。正殿中有大明宁靖王朱术桂在永历二十三年（1669年）所敬献之「威灵赫奕」匾，是全台历史最悠久的古匾，日治时期结束时一度差点遭日本人带走。此外庙中尚有道光年间府城的大盐商吴尚新（台南公会堂前身─吴园创建者）