のちに大安国寺は衰退し、本尊の大日如来は鎌倉時代建久2年(1191年)に阿闍羅山千坊と称された神岡山の高伯寺に移された。