Foster est transféré dans le  de Quincy A. Gillmore près de Charleston, en Caroline du Sud. Foster commande la première brigade des forces de l'Union sur Folly Island pendant le siège de Charleston. Au début de 1864, Foster commande une brigade puis une division en Floride et quand le corps de Gillmore est transféré vers le sud-est de la Virginie, Foster est placé au commandement de la première division du . Au cours de la campagne de Bermuda Hundred, Fostser sert comme chef d'état-major de Gillmore. Il retourne au commandement de la première division brièvement avant de revenir au commandement d'une brigade. Il conduit sa brigade au cours des première et deuxième batailles de Deep Bottom. Il commande la deuxième division du lors de la bataille de New Market Heights.