その後、明治時代初期の廃仏毀釈によって衰退し、狩野派の手による襖絵が流出した。