由水路南下，二兄弟来到本庙现址，打算歇息之后继续南下，启程时却无法移动神像，故掷杯请得神谕，在此处建庙奉祀，远近士绅皆来协助。康熙二十六年（1687年）、康熙五十年（1711年）两度扩建；干隆四十年（1775年）重修，咸丰五年（1855年）重修，日本昭和二年（1927年）重建。