König Heinrich verlor seine Macht in den 1260er-Jahren, woraus der zweite Krieg der Barone in ganz England resultierte. Nach der Niederlage der Royalisten 1264 nahm der Führer der Rebellen, Simon de Montfort, Ludlow Castle ein, aber es wurde kurze Zeit später von Unterstützern Heinrichs, vermutlich unter Führung von Geoffrey de Geneville, zurückerobert. Prinz Eduard floh 1265 aus der Gefangenschaft und traf sich mit seinen Unterstützern auf der Burg, bevor er mit seinem Kampf um die Rückeroberung des englischen Throns begann, der in Montforts Niederlage in der Schlacht von Evesham später im selben Jahr gipfelte. Geoffrey de Geneville besaß die Burg den gesamten Rest des Jahrhunderts und der Herrschaft Eduards I., die bis zu seinem Tod 1314 prosperierte. De Geneville ließ in dieser Zeit den Rittersaal und den Solar bauen, entweder zwischen 1250 und 1280 oder später in den 1280er- oder 1290er-Jahren. Mit dem Bau der Stadtmauer von Ludlow begann man auch im 13. Jahrhundert, vermutlich ab 1260. Diese Mauer war mit der Burg verbunden und bildete mit ihr zusammen einen geschlossenen Verteidigungsring um die Stadt.