En 1836 fue adoptado por otro noble, Iwakura Tomoyasu, del cual recibió su apellido.