Después de la Quinta Batalla de Kawanakajima de 1561, Toramori regresó al castillo Kaizu con una enfermedad bastante avanzada por lo que murió en el mes de junio de ese mismo año.