江米巷设有六部中的礼部以及鸿胪寺和会同馆，但主要只接待来自安南、蒙古、朝鲜、缅甸等四个藩属国的使节，因此会同馆又被称作“四夷馆”。到了清代，会同馆改名四译馆，并修改政策，只允许外国使节在这里居住四十天。1860年第二次鸦片战争清军战败后，根据清政府与英、法、美、俄签订的《天津条约》中相关条款规定，1861年3月英国公使正式入住东江米巷的淳亲王府（当时名为梁公府，系康熙皇帝第七子淳王允祐的府邸）；法国公使正式入住安郡王府（当时名为纯公府，系努尔哈赤之孙安郡王岳乐的府邸）；美国公使进驻美国公民Dr S.SW