Iniziò la sua carriera come ufficiale del clan Azai, poi si unì al clan Oda poco prima della caduta del castello di Odani (1573). Naoyori divenne quindi un sotto Toyotomi Hideyoshi. Combatté con Hideyoshi nella battaglia di Yamazaki e gli venne affidato un feudo di 12.000 "koku" come ricompensa a Takatsuki, nella provincia di Settsu (con possedimenti anche nelle provincia di Yamato). Più tardi, nel 1591, ricevette il ruolo aggiunto del del castello di Ōzu. Ancora più tardi, unendosi alla forza di spedizione di Hideyoshi a Hizen, si dice che Naoyori abbia partecipato alle invasioni della Corea.