V 15. storočí, kedy hrad vlastnil Richard Plantagenet, vojvoda z Yorku, bol hrad hlavnou základňou vo Vojne ruží a v roku 1459 sa ho zmocnili Lancasterovci. No už v roku 1461 sa vlastníctvo vrátilo naspäť do rúk Yorkovcom. Potom sa stal Ludlow kráľovským palácom. V roku 1472 poslal Eduard IV. svojho syna, waleského princa, a brata bývať na hrad Ludlow, ktorý bol v tom čase tiež sídlom waleskej vlády ("Government for Wales") a pohraničným vojvodstvom. Tak sa Ludlow prakticky stal hlavným mestom Walesu.