Renunciando como líder del Partido Liberal el 6 de octubre de 1896, siendo sustituido por Harcourt y progresivamente se iría alejando de la línea dominante en el partido; estaba en contra del Home Rule para Irlanda y a favor de la guerra contra los Bóers, posición que le impediría participar en el gobierno liberal de 1905, dedicándose a la escritura de biografías de Lord Chatham, Pitt el Jovén, Napoleón y Lord Randolph Churchill (una de sus mayores pasiones era el coleccionar libros).