被允许，但朝廷却拜桓温为征讨大都督，督司、冀二州诸军事，主征讨之事。七月，桓温从江陵起兵发动第二次北伐。八月，桓温进军洛阳以南的伊水，当时羌人姚襄正在围攻洛阳，见桓温攻来，于是撤去洛阳的围城军队去抵御桓温。桓温终在伊水大破姚襄，姚襄逃走。及后，据有洛阳的周成献城向桓温投降，桓温于是成功收复故都洛阳。桓温及后拜谒各皇陵及修复其中已被毁坏者。桓温留颖川太守毛穆之、河南太守戴施等守护洛阳，自己则领三千多家归降的人民南迁至长江、汉水一带，返回荆州。升平四年（360年），桓温进封南郡公。隆和元年（362年），前燕