妃的五叔与堂兄等人配合清军平定新疆回部有功，“干隆二十五年奉旨授白和卓为回子佐领，以投诚回众编为一佐领，于西长安街路南设回回营一所居之”，“内设办事房，以内府官董其事”。香妃获干隆帝宠爱，为解香妃的思乡之苦，后来在瀛台以南兴建宝月楼，与回回营隔街相对。干隆帝《御制宝月楼诗》云：“鳞次居回部，安西系远情。”下注：“墙外西长安街内属回人，衡宇相望，人称回子营。”（见《日下旧闻考》卷二十三）。干隆二十九年（1764年），在回回营兴建了礼拜寺。东安福胡同两侧均为平房住宅。回回营礼拜寺的汉白玉雕花拱门原来坐南朝北