Die Burg wurde ab 1190 von "Robert Fitzrandolph, 3. Lord of Middleham and Spennithorne", an Stelle einer früheren Motte erbaut. 1270 kam sie in die Hand der Familie "Neville", deren bekanntestes Mitglied Richard Neville, 16. Earl of Warwick, war, der in den Rosenkriegen als Königsmacher bekannt war. Nach dem Tod von Richard Plantagenet, 3. Duke of York in der Schlacht von Wakefield im Dezember 1460 übernahmen seine jüngeren Söhne, George und Richard das Earldom of Warwick und beide lebten in Middleham Castle mit der Familie Neville. Ihr Bruder Eduard war in Middleham Castle einige Zeit eingesperrt, nachdem er von Neville 1469 gefangen genommen worden war. Nach Nevilles Tod in der Schlacht von Barnet 1471 und Eduards Rückkehr auf den englischen Thron heiratete sein Bruder Richard Anne Neville, Richard Nevilles jüngere Tochter und machte Middleham Castle zu seinem Familiensitz. Ihr Sohn Edward wurde auch in Middleham Castle geboren und starb später auch dort.