Richard H. Anderson
5月3日の夜と4日の終日、フッカーはその防御線に留まる一方でリーとアーリーはセジウィックと戦った。セジウィックはアーリーの防御線を破った後で、愚かにもフレデリックスバーグを確保しておくことを忘れていた。アーリーは単純に元に戻って市の西側にある高地を占領し、セジウィック軍の退路を塞いだ。一方リーはチャンセラーズヴィルの前線からリチャード・H・アンダーソン少将の師団を呼び寄せ、セジウィックが対戦している敵がいかに少ないかを認識できる前にマクローズ隊を補強した。セジウィックは状況が変わると攻撃の判断ができずに防御の姿勢を採ることに決め、その日1日抵抗した後で5月5日の夜明け前にバンクス浅瀬でラッパハノック川を渉って退却した。これはセジウィックとフッカーの間のまたしても連絡不足の結果だった。フッカーはセジウィックがバンクス浅瀬を守っていてくれることを望み、そうすればフッカーの本隊がチャンセラーズヴィルを引き上げてバンクス浅瀬で川を渉りもう一度戦えると考えていた。フッカーはセジウィックが川を渉って引き上げたことを知ると、作戦を打ち切るしか選択肢が無いと感じ、5月5日から6日に掛けての夜に川を渉って引き返した。