明治に入ると、神仏分離により牧山観音は明治3年(1870年)住職が復飾して「零羊崎神社」と呼ばれるようになった。