该条约在日本国内也引发了不少反对声音。例如在美国人住处方面，很多日本人认为外国政府的官员居住在征夷大将军住处附近构成了威胁。同意《美日修好通商条约》者的理由也和同意《神奈川条约》差不多，他们认为签订这条条约的目的是避免日本与美英之间的战争，当时正值第二次鸦片战争，令他们更加恐惧。对战争的恐惧，是幕府不顾国内强烈反对，最终屈服于美国要求的一个重要原因。