建武4年(1337年)、上神城主の上神常儀が社殿を造営している。