Det tilhørte MacDougall-klanen inntil det i 1309 ble erobret av Robert Bruce. I 1470 fikk Campbell-klanen oppdraget til bestyre det på vegne av kronen. Et kapell ble bygget utenfor murene av lorden av Lorn. I sideskipet finnes gravplassene til Campbell-klanen. Flora MacDonald som var heltinnen som reddet prinsen som skottene kaller for «Bonnie Prince Charles» (Karl Edvard Stuart) satt fengslet her for en tid i 1746. Den siste Stewart, lord av Lorne, døde her.