Hertugene Atholl, store landeiere, var initiativtagere og de viktigste deltakere til den brutale utrenskningen av høylandet, «The Highland Clearances», på 1800-tallet da småfolks bosteder ble brent ned, sult og nød bredte seg og en stor del av Skottlands befolkning ble tvunget til utvandre for å skape rom for rikfolks sauemarker.