Neville kom fra en familie som holdt fast ved sin katolske tro etter reformasjonen. Han var knyttet til den mektige Howardslekten gjennom ekteskap.