左侧立有清干隆九年（公元1744年）的「廉明德政去思碑」，见证赤山文衡殿的建庙及赤山开庄的历史。
历史沿革.清代干隆六十年（1795年），凤山区赤山地带民众由中国大陆奉请关帝君香火，在此地建庙奉祀。全盛时期庙产丰盈，连澄清湖等地都属于庙产，富甲当时，里民将本庙与开漳圣王庙并称，人称「金关帝银圣王」。经过日治时期、国民政府以来多所征收，今日庙产已经不比当年。2013年中国山西关公祖庙圣像与2015年福建明朝嘉靖关帝君来台湾遶境，均曾驻驾过文衡殿。