Toramasa fue designado además al mando del castillo Uchiyama en la Provincia de Shinano donde con tan sólo 800 soldados de la guardia pudo repeler el ataque del ejército de Uesugi Kenshin que contaba con más de 8,000 elementos con lo que ganó un gran nivel de respeto pero una gran desconfianza al mismo tiempo.