バンクス軍は5月23日までに3万ないし4万名まで勢力が膨れ、ポートハドソンを取り囲んだ。ポートハドソン守備隊はフランクリン・ガードナー少将が指揮する約7,500名の部隊だった。バンクスは早くこの要塞を片付けてグラントの応援に向かいたいと考え、ガードナーはできる限りその防衛を引き伸ばして、バンクス軍を動かないようにしておくことを望んだ。5月27日の朝、バンクス軍は要塞に対する最初の攻撃を仕掛けたが、大きな損失を出して撃退された。バンクスは包囲戦を布いた後に、6月14日に再度攻撃を掛けたが、この時も損失を出して撃退された。7月に入ると要塞の中の物資も尽きてきて戦い続けることが難しくなってきたときに、7月4日のビックスバーグ陥落の報せが届いた。7月9日、48日間に及んだ包囲戦の後、南軍守備隊は降伏した。北軍はこの戦いで5,000名近い損失を出したが、さらに病気で5,000名が倒れた。南軍の戦闘による損失は750名、病死250名を数えたが、残っていた6,500名が捕虜になった。北軍はこの大きな損失の上に、ミシシッピ川全域の支配を成し遂げた（ポートハドソンの包囲戦）。