断绝多时的伊杂宫迁宫再次举行，由和主担任造营奉行，并且以「与其他别宫合併」为由，将社殿规模大幅缩小。此举引起伊杂宫的一众神官大表不满，由原本主张复兴，演变成伊杂宫为本家的内宫的过激主张。宽文3年（1663年），一众神官趁江户幕府征夷大将军德川家纲前往日光东照宫参拜期间，直接向家纲伸诉，54名神人因而被指大言不惭和阻路，判罚从伊势和志摩流放。这次「宽文事件」后，大岁神社的祝职再未得到内宫的正式委任，变成由自称的神职负责祭祀。另外，也设置「神乐所」，并且任命神乐职人。江户时代，秋津神社和瑞树神社是大岁神社的末社