В 1216 году замок был осаждён Александром II. Замок по-прежнему удерживался Баллиолами, хотя их права оспаривались епископом Дарема. Когда Иоанна I свергли с шотландского королевского трона в 1296 году, замок был передан епископу Дарема. Примерно в 1300 году английский король Эдуард I передал замок графу Уорику. В 1477 году во время войны Алой и Белой розы, Ричард, герцог Глостерский (впоследствии Ричард III) овладел замком, который стал одной из его любимых резиденций. В XV веке в результате женитьбы Ричарда III на Анне Невилл замок был передан её семье.