Nach dem Tod von Anselm Marshal 1246 erbte Roger Mortimer of Wigmore die Burg, womit sie Mittelpunkt einer eigenen Herrschaft der Welsh Marches wurde. Eventuell begann nun, spätestens nach einer erneuten Zerstörung durch Fürst Llywelyn ap Gruffydd 1257 im Englisch-Walisischen Krieg ab 1256, der Bau einer relativ kleinen, doch stark befestigten steinernen Burg am heutigen Standort, die jedoch bei der Eroberung von Wales durch König Eduard I. bis 1283 keine weitere Rolle spielte. 1282 erbte Roger Mortimer of Chirk die Burg. Als dieser 1299 im Dienst des Königs in der Gascogne kämpfte, wurde die Burg 1299 wie das unweit gelegene St Clears Castle bei einer walisischen Revolte niedergebrannt, jedoch anschließend wieder aufgebaut. Nachdem Roger Mortimer of Chirk im Despenser War erfolglos gegen König Eduard II. rebelliert hatte, verlor er seine Besitzungen. Der König vergab die Burg und die Herrschaft an den Waliser Rhys ap Gruffydd. 1337 musste dieser die Burg wieder an König Eduard III. übergeben, der sie 1354 an Roger Mortimer, 2. Earl of March, übergab. Dessen Enkel Roger Mortimer, 4. Earl of March, übergab Narberth an seinen jüngeren Bruder Edmund Mortimer. Als dieser sich während der Rebellion von Owain Glyndŵr den walisischen Rebellen angeschlossen hatte, wurde Narberth 1402 von König Heinrich IV. beschlagnahmt. Die Burg blieb mit einer kleinen Garnison unter englischer Kontrolle, der Kommandant, Thomas Carew, wurde 1404 zum Lord of Narberth ernannt. Nach dem Ende der Rebellion fiel die Burg wieder an Edmund Mortimers gleichnamigen Neffen, den 5. Earl of March, nach dessen kinderlosem Tod 1425 erbte Richard von York die Herrschaft. Dieser vergab sie 1449 an den Waliser Gruffudd ap Nicolas, der jedoch spätestens 1456 gestürzt wurde. 1460 fiel die Burg wieder an die Krone, doch um diese Zeit hatte sie ihre militärische Bedeutung bereits verloren.