Al terminar el mandato de su hermano como gobernador de la India en 1805, ambos hermanos volvieron juntos a Inglaterra, donde se vieron forzados a defender la costosa política imperialista de las fuerzas británicas en la India.