Cuando Ieyasu fue enviado a Senpu como rehén del clan Imagawa, Tadayosi sirvió junto con Matsudaira Shigeyoshi como guardián del castillo Okazaki, durante el cual juntó una importante cantidad de dinero para rearmar el ejército del clan Matsudaira (Tokugawa) en cuanto Ieyasu regresara.