Després de la Conquesta normanda d'Anglaterra la zona va ser dividida en senyorius, quedant la zona de Y Barri partida en dos grans comtats, Pen-marc i Dinas Powys. Pen-marc estava, al seu torn, dividit en els senyorius de Fonmon, Pen-marc oest i Y Barri. Dinas Powys també va ser dividit, en aquest cas en Tregatwg i Uchelolau. El senyoriu de Y Barri estava governat per la família De Umfraville, tenint la seva seu al Castell de Y Barri, situat en un terreny elevat amb vistes del Canal de Bristol, un indret que en època romana havia estat ocupat per població autòctona. El castell era una petita finca fortificada, construïda en substitució d'una edificació anterior. A finals del Segle XIII el castell tenia dues construccions de pedra als costats est i oest del pati. A principis del Segle XIV s'hi va afegir una entrada senyorial, les restes de la qual són el que ha sobreviscut fins als nostres dies. Fins llavors Y Barri s'havia convertit en una vil·la i un port d'importància, amb la seva pròpia església i el seu Molí hidràulic, però en el transcurs del Segle XIV la seva població es va veure molt reduïda a causa de Pesta negra i de les conseqüències de la rebel·lió d'Owain ap Gruffydd. Es van necessitar prop de 300 anys perquè la població es recuperés d'aquella davallada i que el poble recuperés el títol de vil·la, essencialment una població dispersa amb algunes granges i terres pantanoses travessades per un riu. Cap al 1622, el patró dels camps, on l'aïllament era quasi complet, es va mantenir inalterable fins al sorgiment de la vil·la moderna. Segons el fogatge del 1673, a la població de Y Barri hi havia 13 cases.