Отцом Ральфа Невилла был Ральф Невилл, племянник Ральфа Невилла, 2-го графа Уэстморленда и сын погибшего в битве при Таутоне Джона Невилла, 1-го барона Невилла. Владения и титул его отца были конфискованы, но в 1472 году возвращены королём Эдуардом IV. Поскольку двое детей его дяди, графа Уэстморленда, умерли в детском возрасте, то его наследником стал племянник.