方衙署造成极大的不便。至1879年，奉命出使俄国的左都御史崇厚奏请“于上海地方重建天后宫，并建出使大臣公所”，希望在上海设立接待机构以招待往来各国的清朝官员。经总理衙门与两江总督的批准，开始兴建出使大臣行辕。早在三年前，清廷购回吴淞铁路并拆毁，同时苏松太道冯焌将原准备作为吴淞铁路办公机构的土地一并买回作为官地，新建的出使行辕便选址于此。当时出访各国均取道海路。天后，作为中国主管出海平安的神明，因此在兴建出使大臣行辕的时候，高规格重建了上海天后宫，并迁入出使行辕旁的官地，成为罕见的官营宗教场所。1884年