Né dans le village de Nakamura (faisant désormais partie de la ville de Nagoya), le même que Hideyoshi Toyotomi, il était comme ce dernier fils d'un forgeron, décédé lorsqu'il avait trois ans. L'enfant, alors appelé Toranosuke (« jeune tigre ») fut pris sous l'aile de Toyotomi dont la famille était liée à la sienne. À 21 ans, en , il participa à la bataille de Shizugatake aux côtés de Hideyoshi Toyotomi ; au cours de celle-ci, il devint une des « sept lances de Shizugatake ». Après la campagne de Kyūshū en , il fut installé dans le domaine de Kumamoto, confisqué à Sassa Narimasa. À cette époque débuta une longue rivalité avec le daimyo du domaine voisin, au sud de la province de Higo, Konishi Yukinaga, rivalité qui continua de croître lorsque chacun commanda une partie de l'armée japonaise lors de l'invasion de la Corée. Il se montra si compétent que ses soldats le surnommèrent le « général-démon » ("Kishōkan"). Malgré ses relations de longue date avec Toyotomi Hideyoshi, il rejoignit le parti de Ieyasu Tokugawa plutôt que du jeune Hideyori, fils de son ancien mentor, lors de la campagne de Sekigahara en 1600, refusant de se joindre aux armées de l'Ouest commandées par Ishida Mitsunari, avec qui il avait aussi eu des mésententes lors de la campagne de Corée.