Pryor er født i Mobile i Alabama som sønn av William Holcombe Pryor sr. og hans kone Laura Louise (født Bowles). Han vokste opp i en strengt romersk-katolskpraktiserende familie. Han og hans søsken gikk på McGill–Toolen Catholic High School i Mobile. Han fikk sin bachelor of arts-grad fra Northeast Louisiana University i 1984 (nå University of Louisiana, Monroe) og juristgraden fra Tulane University i 1987, der han var sjefredaktør i .