Naoyori si schierò con Ishida Mitsunari nella campagna di Sekigahara, attaccando il castello di Ueno di Tsutsui Sadatsugu. Arrestato in seguito alla vittoria dei Tokugawa, fu posto sotto la custodia di Gamō Hideyuki dopo la battaglia. Più tardi perdonato da Ieyasu e gli fu dato un feudo di 30.000 "koku" ad Asō nella provincia di Hitachi.