Arven fra Neville-familien af Middleham blev i stedet genstand for en strid mellem kong Edvard 4.'s brødre: Richard, hertug af Gloucester og Clarence, der var vendt tilbage til familiens fold inden Slaget ved Barnet. Clarence, hvis krav var på grundlag af hans ægteskab med Isabel Neville, modtog jarldømmerne Warwick og Salisbury. Gloucester erhvervede de gamle Neville-godser i nord, efter at have skabt sit krav ved at gifte sig med Anne Neville, der var blevet enke efter prins Edvard af Westminsters død i det sidste Lancaster-nederlag i Slaget ved Tewkesbury i 1471. De nordlige besiddelser og omgangskreds arvet fra Neville-familien blev Gloucesters vigtigste magtbase, og han overtog Middleham Castle som sit hovedsæde indtil han besteg tronen som Richard 3. i 1483.