君、孚佑帝君、文衡帝君、朱衣星君与魁斗星君，合称为「五文昌」，是古时科举时代掌管所有考试的神明。内设有大殿与拜殿，所以俗称文昌祠或文昌庙，建筑的样式属于传统的闽南式合院型态，是一间结合学堂与庙宇的四合院。建筑材料的使用除了红砖瓦片之外，还有泉州白（花岗岩）、青石等石材搭配福杉等建造而成。门厅比地面高出三阶，讲堂则高出五阶。在讲堂之前有个高约60公分的小「月台」，月台之上筑有拜亭，这是磺溪书院的特色造型。磺溪书院整个建筑相当考究，细部装饰到特殊的屋顶型态都是很华丽的结构。平面的设计呈现出一般民宅与孔庙