Douglas arvet tittelen fra sin far i 1858. Han betegnes noen ganger som den åttende marki, på grunn av uklarheter rundt tidligere innehavere av tittelen. Han ble kjent som en ivrig idrettsmann og eksentriker, og var spesielt glad i boksing. I 1860 grunnla han Amateur Athletic Club.