Enillodd y Rhyddfrydwyr etholiad cyffredinol 1880 a chafodd Hartington gwahoddiad gan y Frenhines i ffurfio llywodraeth, ond gwrthododd - fel y gwnaeth Iarll Granville, Arweinydd y Blaid Ryddfrydol yn Nhŷ'r Arglwyddi - ar ôl i Gladstone datgan na fyddai'n gwasanaethu o dan unrhyw Brif Weinidog ond ef ei hun. Penodwyd Hartington i wasanaethu yn ail lywodraeth Gladstone fel yr Ysgrifennydd Gwladol dros India (1880-1882) a'r Ysgrifennydd Gwladol dros Ryfel (1882-1885).