La “reclusión” de Chōmei no tiene causas claras, pero se cree que fue por una serie de sucesos desafortunados, en especial la muerte de su padre y su incapacidad de haber ocupado su puesto; esto motivó a que abandonara la vida de la corte y de pasó renunció a la religión Shintō y se convirtió al budismo.