供奉于民家中，后因神蹟显赫、香火鼎盛，当地乡民共议于今庙址处建立一座坐北朝南的茅草庙宇奉祀。当时庙前为汉人所居住，庙后为平埔族麻豆社人居住，至今文衡殿北侧处尚名为「番仔巷」，因历史悠久，有麻豆地区古蹟庙宇第一之美称。1734年（清雍正十二年），该角国学生吴仕光感于庙貌寒酸，故提倡辟建庙宇，乡民们应和，在众人努力下大功告成。当时庙前一带曾一度为麻豆地区最繁华的地段，与水堀头近在咫尺，每日车水马龙，盛极一时。1768年（清干隆三十二年），发生大地震，文衡殿几乎倒塌，因当时社会经济困顿，修复进展缓慢。