Alrededor de 1560 Masamori dejó Kozuke para unirse al clan Takeda, donde más tarde se convertiría en señor del castillo Kaizu de la Provincia de Shinano.