直廉はこの地に飛天王を祀ることにし、天文10年(1541年)に新たな社殿を築いたという。