Jiří Nevill byl synem Eduarda Nevilla, 3. barona z Bergavenny a Alžběty Beauchampové. 9. května 1437 byl Eduardem IV. pasován na rytíře, poté, co pro něj bojoval v bitvě u Tewkesbury. V roce 1476 se stal nástupcem svého otce.