En 1847 fue asignado como heredero del "daimyō" Tokugawa Narikatsu, y cambió su nombre a Yoshitomi en 1851.