У 1216 році замок був обложений Олександром II. Замок, як і раніше утримувався Балліолями, хоча їх права оскаржувалися єпископом Даремським. Коли Іоанна I скинули з шотландського королівського трону в 1296 році, замок був переданий єпископу Дарема. Приблизно в 1300 році англійський король Едуард I передав замок графу Воріку. У 1477 році під час війни Червоної та Білої троянд, Річард, герцог Глостерський (згодом Річард III) оволодів замком, який став однією з його улюблених резиденцій. В XV столітті в результаті одруження Річарда III на замок був переданий її сім'ї.