Han ble født på Middleham Castle omkring 1473. Slottet hadde tilhørt hans morfar Richard Neville, 16. jarl av Warwick. I 1478, etter henrettelsen av George Plantagenet, 1. hertug av Clarence for høyforræderi fikk han tittelen jarl av Salisbury på livstid; den ville altså ikke gå videre til eventuelle arvinger ved hans død.