Rhwng 1863 a 1874 gwasanaethodd Hartington mewn nifer o swyddi amrywiol yn y Llywodraeth, gan gynnwys swydd Arglwydd y Morlys a Swydd yr Is-ysgrifennydd dros Ryfel o dan brif weinidogaethau Palmerston ac Iarll Russell, ac yna fel y Bostfeistr Cyffredinol, a Phrif Ysgrifennydd yr Iwerddon yn y llywodraeth gyntaf Gladstone.