À son retour en Angleterre, Ellenborough est créé comte d'Ellenborough, comté de Cumberland, grand croix de chevalier de l'Ordre du Bain et reçoit les remerciements du Parlement; mais son administration devient bientôt le sujet de débats hostiles, même si Peel et Wellington le justifient. Lorsque le cabinet de Peel est reconstitué en 1846, Ellenborough devient le premier Lord de l'amirauté. En 1858, il prend ses fonctions sous Lord Derby en tant que président du conseil de contrôle, pour la quatrième fois. Il rédige le nouveau plan pour le gouvernement de l’Inde que la rébellion indienne de 1857 a rendu nécessaire. Mais il écrit une dépêche caustique censurant Lord Canning pour la proclamation d'Oudh, et autorise sa publication dans "le Times" sans consulter ses collègues, qui désavouent son action à cet égard. La désapprobation est générale et des votes de censure sont annoncés dans les deux chambres. Pour sauver le cabinet, Ellenborough démissionne.