Als Rōjū für Außenbeziehungen empfing er den neuen amerikanischen Konsul Townsend Harris und arrangierte dessen Audienz beim Shogun in der Burg von Edo. Um seine politische Stellung zu stärken, versuchte er, angesichts des heftigen Widerstandes vieler Daimyō gegen den Harris-Vertrag, die Zustimmung des Hofes in Kyōto zu erlangen. In einem Vorgang der historisch keine Vorbilder hatte, reiste er, reich mit Geschenken beladen, dorthin. Ebenso ohne bisheriges Vorbild äußerte sich die „himmlische Majestät“ der Kōmei-Tennō, auf Rat seiner Höflinge, die von der ausländerfeindlichen Fraktion kontrolliert wurde, zu einem tagespolitischen Vorgang. Die Zustimmung zum Handelsvertrag wurde verweigert, außerdem wurde vom Tenno angedeutet, dass er als nächsten Shogun Hitotsubashi Yoshinobu, den Sohn von Tokugawa Nariaki favorisierte.