Fue adoptado por otra familia de cortesanos, los Saionji, en 1851.