Nach dem Tod Richard Nevilles 1471 bei der Schlacht von Barnet fielen seine Ländereien an Richard, Duke of Gloucester, den Bruder von König Eduard IV. Richard weilte während seiner Zeit als oft auf der Burg. Die Nähe zur Stadt York machte dies für ihn angenehm.