William Nelson Pendleton var født i 1809 i Richmond. Han vokste opp på plantasjen til hans foreldre, Edmund Pendleton og hans kone Lucy (Nelson) Pendleton. Hans første skolegang var under privatlærere og ved John Nelson's School i Richmond. Pendletons familie sørget for at hans eldre bror, Francis Walker Pendleton, kom inn på United States Military Academy i West Point, men da Francis uttrykte liten interesse for en militærkarriere dro William i hans sted. Han dro til West Point i 1826 og ble uteksaminert fire år senere som nr 5 av 42 kadetter.