Pickett var født i Richmond i Virginia som første av åtte barn av Robert og Mary Pickett, en fremtredende familie i Old Virginia. Han var fetter av den fremtidige konfødererte generalen Henry Heth. Han reiste til Springfield i Illinois for å studenere jus, men i en alder av 17 ble han utplukket til United States Military Academy. Legenden sier at Picketts utnevnelse til West Point ble sikret for ham av Abraham Lincoln, men dette er antatt å være en historie som ble satt ut av hans enke etter hans død. Lincoln som var representant i den lovgivende forsamlingen i Illinois, kunne ikke nominere kandidater, selv om han gav den unge mannen råd etter at han kom inn på skolen. Pickett ble faktisk utnevnt av kongressmannen John T. Stuart fra Illinois, en venn av Picketts onkel og juspartner av Lincoln.