Yoshitoshi era il quinto figlio di Sō Masamori. Sua moglie, che prese il nome di battesimo "Maria", era figlia di Konishi Yukinaga. Yoshitoshi divenne il capo della famiglia nel 1580, dopo che il padre adottivo, Sō Yoshishige fu sconfitto, e Tsushima conquistata, in un preludio alla spedizione di Hideyoshi a Kyūshū (1587). Yoshitoshi entrò così nel servizio di Hideyoshi e iniziò ad organizzare trattative con la Corea come rappresentante di Hideyoshi. Il Re di Joseon si rifiutò di permettere alle truppe giapponesi di passare pacificamente attraverso la Corea nel tentativo di conquistare la Cina della dinastia Ming, e alla fine i negoziati risultarono del tutto infruttuosi, portando alla decisione di Hideyoshi di dare inizio all'invasioni giapponese della Corea.