Cuando los samurái y los nobles apoyaron la política más radical del " sonnō jōi" (expulsión de los extranjeros y reverencia al Emperador), Iwakura fue visto como un simpatizante del shogunato, y la Corte hizo presión para su expulsión.