Ии Наосукэ
В 1860 года, после убийства старейшины Ии Наосукэ, в среде политиков сёгуната и двора приобрела популярность идея сотрудничества обоих властных институтов. Томоми поддержал эту идею, покинул стан радикальных оппозиционеров и принял участие со стороны Императорского двора в переговорах по бракосочетанию принцессы Кадзи с сёгуном Токугавой Иемоти. Из-за этого бывшие соратники аристократа из радикального лагеря начали на него наступление, требуя от Императора наказать его как одного из «четырёх воров» при дворе, ответственных за политико-социальный кризис в стране. В 1862 году, под давлением оппонентов, Томоми был вынужден сложить все свои ранги и должности, принять монашеский постриг и буддистское имя Юдзан. Он покинул столицу и уединился в деревне Ивакура на севере Киото.