Bardsey wurde 1086 im Domesday Book als „Berdesei“ und „Bereleseie“ im "Hundred of Skyrack". Ein Motte-and-bailey Castle stammt aus der Zeit unmittelbar nach der Normannischen Eroberung. Bardsey beansprucht auch die älteste anglo-saxonische Turmkirche in England. Der Turm der "All Hallows Church" geht zurück auf ca. 850–950.