James, den 7. jarl, var en brutal mann som fikk mange fiender, hvilket kostet hans sønner dyrt. Den 8. jarl ble dolket ihjel av kong Jakob II av England og tre år senere anklaget kongen resten av familien for forræderi og jarldømmet, formuen og alle eiendommene ble konfiskert.