Volvió a Inglaterra en 1859, pero retornó a la India en 1863 para convertirse en Virrey, tras la repentina muerte de su antecesor, James Bruce, 8º Conde de Elgin.