Un últim succés arribaria al castell a les Guerres de les Dues Roses. Després de l'execució de Clarence, el seu germà Ricard de Gloucester (el futur Ricard III), va prendre possessió del castell. La seva dona, Anna, era la filla petita de Neville.