Castle Sween entstand wahrscheinlich im frühen bis mittleren 12. Jahrhundert. In älteren Quellen ist auch das 11. Jahrhundert als Bauzeitraum zu finden. Erbauer der Anlage war möglicherweise ein dänischer Prinz namens "Sweno" oder auch "Suibhne", Stammvater des ab dem 13. Jahrhundert in Irland lebenden Clans Sweeney. Im Zuge der Schottischen Unabhängigkeitskriege stellten sich die MacSweens gegen Robert the Bruce und wurden nach dessen Machtergreifung ihrer Besitzungen in Knapdale enteignet. Während der Kriege war Castle Sween selbst von Robert the Bruce belagert. Die Ländereien fielen an die Earls of Menteith und schließlich an Aonghas Óg, Sohn von Alexander Og MacDonald und Lord of the Isles. Später überließen die MacDonalds als Lords of the Isles Mitgliedern des Clans MacNeill von der Insel Gigha die Bemannung der Burg. Während der Kriege der drei Königreiche zerstörte Sir Alexander Macdonald Castle Sween im Jahre 1647. Danach blieb die Burg unbewohnt und verfiel in den folgenden Jahrhunderten.