なお、阿部から抜擢された岩瀬忠震、井上清直、永井尚志、水野忠徳、堀利熙の5人(安政五賊)は、安政5年（1858年）の夏に、アメリカ・イギリス・フランス・ロシア・オランダによって恫喝され、安政五カ国条約を締結することになった。日米修好通商条約調印直後に海防掛は廃止され、5人は外国奉行に任じられた。