广场西侧的西交民巷是连在一起的一条胡同，名叫“江米巷”。当时这条胡同有元代控制漕运米粮进京的税务所和海关，因而成为南粮北运的咽喉要地，故得名“江米巷”。明代时城墙南移并修建棋盘街，将原来的江米巷截断成为东江米巷和西江米巷。在东江米巷设有六部中的礼部以及鸿胪寺和会同馆，但主要只接待来自安南、蒙古、朝鲜、缅甸等四个藩属国的使节，因此会同馆又被称作“四夷馆”。到了清代，会同馆改名四译馆，并修改政策，只允许外国使节在这里居住四十天。1860年第二次鸦片战争清军战败后，根据清政府与英、法、美、俄签订的《天津条约》