In den 1450er-Jahren brachen die Rosenkriege zwischen dem Haus Lancaster und dem Haus York, dem Richard angehörte, aus. Die meiste Zeit des Konfliktes stand Ludlow Castle nicht an vorderster Front, sondern diente als sicherer Rückzugsort von den hauptsächlichen Kämpfen. Eine Ausnahme davon stellte die Schlacht von Ludlow dar, die 1459 direkt vor den Toren der Stadt stattfand und mit einem größtenteils unblutigen Sieg von Heinrich VI. aus dem Haus Lancaster endete. Nach der Schlacht wurde ‘’Edmund de la Mare’’ als Konstabler der Burg eingesetzt, um Richards Macht über die Region zu brechen. John Talbot, dem Earl of Shrewsbury, wurde die weitere Herrschaft übertragen. Richard fiel 1460 in einer Schlacht und sein Sohn Eduard kam im Folgejahr auf den Thron Englands, gewann die Kontrolle über Ludlow Castle zurück und vereinigte es mit den Besitzungen der Krone.