当地における伊東氏の勢力は祐隆の孫である祐親の死後に衰えたが、その後も付近諸所に残留する子孫が当神社を信仰したようで、神社所蔵の棟札によると慶長15年(1610年)には伊東正(政)世が焼失後の造営を行っており(但し、これは後述大樟の下に祀られる稲荷神(疱瘡神)の石祠の事であるとされる)、明治までは時々の領主により神供米が寄進されていた。