Kiyomori le remueve el título de Emperador Enclaustrado y lo envía forzosamente a Toba-in, el antiguo palacio de su padre, el Emperador Toba, en 1179.