Studiował na University of Pennsylvania, początkowo chciał być inżynierem, jednak później (w 1833) wstąpił do Akademii Wojskowej West Point, którą ukończył w 1837. Brał udział w wojnie z Seminolami i kampanii przeciw Czirokezom, a później w wojnie z Meksykiem. Po wojnie poślubił mieszkankę Wirginii Marthę Thompson i przeniósł się do Richmond. Po secesji Wirginii porzucił służbę w armii USA i wstąpił do armii Konfederacji, w której w czerwcu 1861 otrzymał stopień generała brygady. Służył i walczył w Karolinie Południowej, Georgii i na Florydzie, w październiku 1862 został mianowany generałem porucznikiem i dowódcą Dystryktu Missisipi i Wschodniej Luizjany. Od 18 maja do 4 lipca 1863 dowodził konfederatami podczas oblężenia Vicksburga, które zakończyło się zwycięstwem Unii i zajęciem miasta przez Północ. Po zakończeniu oblężenia Pemberton najpierw pozostawał jako oficer bez przydziału, a później był inspektorem wojskowym. Po zakończeniu wojny wrócił na północ i osiedlił się na farmie.