日米和親条約では、薪水の給与のための下田・箱館開港と並んで、両国の必要に応じて総領事が置かれることとなり、1856年（安政3年）米国はハリスを下田に派遣する。ハリスは自由貿易と開港を目的とした通商条約の締結を幕府に迫る。阿部死後、老中首座となった堀田正睦は徳川斉昭の反対を承知しながらハリスを下田より上府させ、1857年12月7日（安政4年10月21日）には将軍徳川家定に拝謁させた。結果として斉昭は海防参与を辞す。ハリスは江戸で第二次アヘン戦争における清の敗北などの世界情勢を堀田に伝え、英仏が日本に不利益な条約を強制する危険があると主張した。この事態を避けたければアメリカとの条約を先に締結するべきとするハリスの発言について、堀田は虚偽を含む主張と承知しながらも通商条約締結は不可避と判断し、交渉を進めた。合意した内容は、領事裁判権を認め、関税自主権を有さず、かつ片務的最恵国待遇を課した不平等条約であった（但し、領事裁判権はむしろ幕府が求めたものであり、関税に関してもこの時点では妥当なものであった。むしろ問題は金銀等価交換を認めたことであった→幕末の通貨問題）。