В марте 1862 года он получил звание генерал-майора и был назначен командующим военными округами Южной Каролины и Джорджии, сменив на этом посту Роберта Ли. Пембертон был страстным конфедератом, но южане не доверяли ему из-за его северного происхождения. Президент Джефферсон Дэвис полагался на верность и способности Пембертона и 10 октября 1862 года поставил его во главе Миссисипской армии для обороны Виксберга и Порта Хадсон на Миссисипи — двух крепостей конфедератов, не позволявших федералам контролировать реку. Во время Виксбергской кампании ему противостоял генерал-майор северян Улисс Грант, который имел превосходство не только в численности, но и в военном искусстве. После неожиданного форсирования Миссисипи Грант нанес несколько поражений Пембертону и Джонстону и в итоге осадил армию Пембертона в Виксбурге.