室町時代には、明応8年(1499年)6月の大地震で社殿全てが倒壊し、文亀3年(1503年)に前在庁の安西氏の推挙で領主の里見義成が本殿・瑞垣を造営し、天文5年(1536年)には改めて里見義弘が造営したという。