族返乡，朝廷畏惧桓温，不敢有异议；但士族们却已安于南方，根本不愿北返。在此忧虑之时，扬州刺史王述认为桓温只是以迁都之名威压朝廷，并非真心想还都洛阳，只要表示顺从便可，毋须实行。诏书下达后，晋室始终没有还都洛阳。兴宁元年（363年），桓温获加授侍中、大司马、都督中外诸军事、录尚书事、假黄钺。次年，桓温率水军移守合肥，朝廷改以桓温为扬州牧、录尚书事，并两度征桓温入朝。桓温在第二次征召时才入朝，行至赭圻时停止并留驻当地。当时前燕又再进攻洛阳，守将陈祐留兵出奔。司马昱知道后，于是于兴宁三年（365年）与桓温商议