Mens Warwick eide borgen gjorde han en rekke forbedringer, som førte til at det ble kjent som «Nord-Englands Windsor». Etter at Richard Plantagenet, 3. hertug av York døde bodde hans sønner George, hertug av Clarence og Richard, hertug av Gloucester på borgen en periode.