Budowa zamku zapoczątkowana została najprawdopodobniej około 1075 roku przez Waltera de Lacy, uczestnika inwazji normańskiej na Anglię (1066). Zamek pozostawał główną siedzibą rodu de Lacy do połowy XIII wieku. Otaczające go miasto Ludlow powstało w połowie XII wieku. Na początku XIV wieku zamek znajdował się w posiadaniu Rogera Mortimera. W 1425 roku jego posiadaczem został Ryszard Plantagenet, książę Yorku, ojciec przyszłego króla Edwarda IV, a w 1461 roku posiadłość przeszła na własność korony. W latach 1473–1689, z przerwami, na zamku swoją siedzibę miała Rada Walii i Marchii ("Council of Wales and the Marches"), organ administracji królewskiej na terytorium Walii i pograniczu angielskim (Marchii Walijskich). Równocześnie zamek pełnił funkcję rezydencji królewskiej. W latach 1473–1483 przebywał tu następca tronu, Edward, książę Walii (przyszły król Edward V). Od 1501 roku do swojej śmierci rok później na zamku mieszkał ówczesny następca tronu, książę Artur wraz z żoną Katarzyną Aragońską.