En la zona donde se sitúa el Castillo de Brodick ha existido una fortaleza al menos desde el siglo V, cuando los invasores Escotos llegaron desde Antrim para expandir el reino Dalriada.