安政2年（1855年）、老中・阿部正弘の信任を得て下田奉行に就任。家禄200俵高に家格上昇。翌年にアメリカ総領事・ハリスが下田に来航すると応接を担当し、ハリスの将軍・徳川家定への謁見や日米修好通商条約討議に奔走する。安政5年（1858年）に岩瀬忠震と共に全権として日米修好通商条約に調印し、間もなく外国奉行を兼任してロシア・フランス・イギリスとも通商条約を締結した。安政6年（1859年）、将軍継嗣問題で一橋派に属していたため、南紀派の大老・井伊直弼によって一時小普請奉行に左遷されるも、間もなく軍艦奉行となり、海軍拡張に尽力した。