Ar ddyfod yn Ddug Devonshire ym 1891 a symud i Dŷ'r Arglwyddi, ymunodd a thrydedd lywodraeth Salisbury ym 1895 fel Arglwydd Lywydd y Cyngor. Ymddiswyddodd o'r llywodraeth yn 1903, ac oddi wrth y Gymdeithas yr Unoliaethwyr Rhyddfrydol y gwanwyn canlynol, mewn protest at gynllun Diwygio Tariff Joseph Chamberlain; roedd Chamberlain am gyflwyno diffyndollau ond roedd y Dug yn credu mewn marchnad gwbl rydd. Wedi ymadael a'r Unoliaethwyr Rhyddfrydol ffurfiodd grŵp seneddol newydd Yr Unoliaethwyr Marchnad Rydd, a drodd wdyn i'r Blaid Unoliaethol cyn uno a'r Blaid Geidwadol ym 1912.