Castlebay er den største landsbyen på øya. Den har fått navnet etter middelalderfestningen som ligger i bukta, Kisimul Castle. Øya og festningen har vært sete for klanen MacNeil og parlamentsmedlemmet Angus MacNeil kommer fra Barra, hvor han var sauebonde. Han representerer Det skotske nasjonalistpartiet og vant setet ved valget i 2005.