Die "Angelsächsische Chronik" berichtet, dass 1067 Gytha Thorkelsdóttir, die Mutter von Harold Godwinson sich auf der Insel aufhielt, bevor sie nach der Normannischen Eroberung Englands nach St. Omer in Frankreich ging. Nach der Invasion gründete Lord Robert Fitzhamon, ein Cousin von Wilhelm I., die Grafschaft Shire of Glamorgan in Wales mit Cardiff Castle als Machtzentrum. Flat Holm kam zum Pfarrbezirk von St Mary’s, einer von Cardiffs beiden Pfarrkirchen und wurde erblicher Besitz der normannischen Lords of Glamorgan.