Um 1140 errichtete Robert, Earl of Gloucester und Lord of Glamorgan eine Motte am Kenfig River. Aufgrund einer steilen Hügelkette nördlich des Flusses hatten bereits die Römer ihre Hauptstraße ins westliche Wales an dieser Stelle küstennah angelegt, und durch die Anlage eines Hafens an der Mündung des Flusses entstand bald südlich der Burg eine Siedlung mit einem Hafen. Zwischen 1151 und 1154 wurde die Kirche St James errichtet, und Kenfig wurde ein wichtiges Handels- und Verwaltungszentrum im Süden der Herrschaft Glamorgan, weshalb es im 12. und 13. Jahrhundert mindestens neunmal von aufständischen Walisern angegriffen wurde. Der erste Angriff erfolgte am 13. Januar 1167 von Morgan ap Caradog, dem walisischen Lord of Afan, bei dem die Siedlung geplündert wurde. Ein weiterer Angriff erfolgte nach dem Tod des normannischen Lords William FitzRobert 1183 oder 1184, bei dem die Burg und die Befestigung der zum Borough erhobenen Siedlung beschädigt wurde. Zur Verstärkung wurde 1185 ein steinerner Turm in der Burg errichtet, wobei teilweise Steine aus antiken Bauten der Römerzeit verwendet wurde. Zwei weitere Angriffe unternahm um 1228 und 1243 der walisische Lord von Meisgyn, Hywel ap Maredudd. Morgan Gam, der Lord von Afan, konnte 1232 die Stadt und bis auf den Keep die Burg erobern. 1257 griff Llywelyn ap Gruffydd Kenfig an. Während des walisischen Aufstands von 1294 eroberte Morgan ap Maredudd 1295 die Stadt und zerstörte Teile der Burg. 1316 wurde die Burg während der Rebellion von Llywelyn Bren zerstört, und während des Despenser War 1321 gegen Hugh le Despenser erfolgte ein weiterer Angriff auf die Burg. Jedoch brachten nicht diese mehrfachen Angriffe und Zerstörungen das Ende der Burg und der Siedlung, sondern wie bei Pennard Castle auf der Halbinsel Gower führte die zunehmende Versandung um 1400 zur Aufgabe der Burg. Anstelle des Boroughs von Kenfig entstand etwa 2,4 km östlich die Siedlung Pyle.