In 1493 werd de macht van clan Donald gebroken door de Schotse koning. Dit had een weerslag op het belang van de abdij en leidde tot het uiteindelijke verval van de abdij. In 1507 werd Saddell Abbey met alle landerijen bij koninklijk besluit van Jacobus IV toegewezen aan het bisdom van Argyll en werd de baronie van Saddell gesticht. Hierbij werd bisschop David Hamilton, een natuurlijke zoon van Jacobus IV, toegestaan een kasteel te bouwen bij Saddell. Dit Saddell Castle kwam gereed in 1510. In 1512 stuurde Jacobus IV een brief naar de paus met het voorstel om de bisschopszetel van Argyll te verplaatsen van Lismore naar Saddell Abbey en daar een kathedraal te bouwen. Een kardinaal had echter in 1507 een brief aan de paus gestuurd waarin werd gemeld dat Saddell Abbey enkel nog bediend werd door leken en dat er al lang geen monniken meer woonden. Met de dood van Jacobus IV in de Slag bij Flodden Field stopten de onderhandelingen om de bisschopszetel te verplaatsen.