来阿礼国升任公使，领事馆也改为公使馆的规格。但在1861年与1862年时两度发生了袭击英籍馆员的「东禅寺事件」，而迁移到横滨去。之后江户幕府指定品川的作为公使馆的新址并展开工程，但还未能完工，身为倒幕派人士的高杉晋作就于1863年1月31日率人到新馆工地纵火，而再也无法投入使用。1866年，时任驻日公使的巴夏礼以公使馆横滨馆区不便为由，将办公地点迁到了江户泉岳寺的临时代表处。明治维新之后，产生了许多曾经属于大名的闲置房屋和宅第，巴夏礼因此于1869年1月把公使馆办事处移到三田、上野、沼田藩的内去，同时也