Daeth Hartington yn fwyfwy anesmwyth â pholisïau Gwyddelig Gladstone, yn enwedig ar ôl llofruddiaeth ei frawd iau, yr Arglwydd Frederick Cavendish ym Mharc Phoenix, Dulyn ym 1882. Ym 1886 torrodd gyda Gladstone yn gyfan gwbl. Gwrthododd i wasanaethu yn nhrydedd lywodraeth Gladstone, ac ar ôl pleidleisio yn erbyn y Mesur Rheolaeth Cartref Cyntaf daeth yn arweinydd yr Unoliaethwyr Rhyddfrydol. Ar ôl Etholiad Cyffredinol yn 1886 Hartington gwrthododd cais arall i fod yn Brif Weinidog, gan ddewis yn hytrach i ddal y cydbwysedd yn Nhŷ'r Cyffredin a rhoi cefnogaeth o'r meinciau cefn i'r ail lywodraeth Geidwadol yr Arglwydd Salisbury. Yn gynnar ym 1887, ar ôl ymddiswyddiad yr Arglwydd Randolph Churchill, cynigiodd yr Arglwydd Salisbury i gamu i lawr a gwasanaethu mewn llywodraeth dan Hartington, ond gwrthododd y cyfle am y drydedd tro.