安政5年（1858年）にはアメリカの総領事タウンゼント・ハリスと交渉して条約締結に臨み、日米修好通商条約に井上清直と共に署名するなど、開国に積極的な外交官であった。ハリスは、「井上、岩瀬の諸全権は綿密に逐条の是非を論究して余を閉口せしめることありき。…懸かる全権を得たりしは日本の幸福なりき。彼の全権等は日本の為に偉功ある人々なりき」と、後に当時の交渉のことを書き残している。