13世紀に建造されたウェールズの城の多くはエドワード1世の厳重な管理の下で築城されたが、ケルフィリー城はそれらの城とは異なり、当時ケルフィリー一帯の領主であったノルマン人のギルバート・ド・クレアによって建造された。