Nach Lord Salisburys Tod in der Schlacht von Wakefield 1460 erbte Richard Neville, 16. Earl of Warwick, der „Königsmacher“, Burg und Grundherrschaft, fiel aber selbst in der Schlacht von Barnet, ohne einen männlichen Erben zurückzulassen, und so fielen Burg und Grundherrschaft zurück an die Krone. Sie wurden 1471 Richard, Duke of Gloucester, von König Eduard IV. zu Lehen gegeben, der Penrith als Basis nutzte, als er „effektive Maßnahmen“ gegen die Schotten einleitete und auch „die Einnahmen der Ländereien einstrich“, was den "Forest of Cumberland" betraf. Zur gleichen Zeit wurde der Herzog für fünf aufeinander folgende Jahre zum "Sheriff of Cumberland" ernannt wurde und 1478 als „von Penrith Castle“ beschrieben.