Da han arvet tittelen jarl fra sin far i oktober 1904 ble han eier av store områder i Skottland og England, blant annet Glamis Castle, St Paul's Walden Bury og Woolmers Park, nær Hertford. Han ble gjort til stattholder av Angus, men han forlot embetet da datteren Elizabeth ble dronning.