Dopo questo Toshimasu ritornò nella capitale e si dedicò all'arte e alla letteratura. Fu escluso dalla campagna di Kyūshū da Hideyoshi per i suoi modi definiti selvaggi. Quando i Tokugawa sfidarono gli Uesugi nel 1600 nell'inizio della campagna di Sekigahara, combatté ancora una volta con l'esercito Uesugi partecipando all'assedio di Hasedō. In uno scontro con il clan Mogami la leggenda narra che sfondò le linee nemiche con solo otto cavalieri rompendo la loro formazione.