En befestet struktur ble bygget i Tarbert i løpet av 1200-tallet. Den ble forsterket med tillegg av en ytre borggård og tårn på 1320-tallet av Robert Bruce som beskyttelse mot høvdingene på de ytre øyene (lordene av Isles). Et tårnhus ble lagt til på 1500-tallet, som er den mest merkbare delen av de levninger som er igjen i dag. Festningen okkuperer land høyt over Loch Fyne, og gir utsikt oppover East Loch Tarbert og videre til Firth of Clyde. Festningen ble erobret fra John MacDonald, jarl av Ross, av Jakob IV av Skottland som en del av hans kampanje for å ødelegge makten til lordene av Isles. I 1685 var festning involvert i en annen trefning da Walter Campbell fra Skipness Castle fra østsiden av Kintyre grep det som en høyborg for klanen Campbell.