Sus orígenes se remontan al siglo XIII, cuando fue fundado por Ifor Bach, aunque la actual edificación es una obra neogótica del siglo XIX, realizada por William Burges, el mismo arquitecto que proyectó el vecino castillo de Cardiff.