Gwasanaethodd Cavendish fel Aelod Seneddol pedwar etholaeth rhwng 1857 a 1891. Cafodd ei ethol fel Aelod Seneddol Rhyddfrydol Gogledd Swydd Gaerhirfryn ym 1857, gan golli'r sedd i'r Ceidwadwyr ym 1868. Yn union ar ôl etholiad 1868 ymneilltuodd Richard Green-Price, AS Rhyddfrydol Bwrdeistref Maesyfed, o'r Senedd er mwyn galluogi i Ardalydd Hartington sefyll isetholiad a dychwelyd i Dŷ'r Cyffredin Fe fu'n llwyddiannus yn yr isetholiad a gwasanaethodd fel AS Maesyfed hyd 1880, pan benderfynodd dychwelyd i Swydd Gaerhirfryn i sefyll yn etholaeth gogledd orllewin y sir. Diddymwyd etholaeth Gogledd Orllewin Sir Caerhirfryn ar gyfer etholiad 1885 a safodd yr Ardalydd yn etholaeth newydd Rossendale gan gynrychioli'r etholaeth hyd 1891 pan olynodd ei dad fel Dug Devonshire a chael ei godi i Dŷ'r Arglwyddi.