Grover est transféré dans le département du golfe, en décembre 1862, et il commande une division dans le XIXe corps lors de la capture de Baton Rouge et le Siège de Port Hudson. De retour dans l'est en août 1864, il participe à la troisième bataille de Winchester alors qu'il est affecté au commandement du général Philip Sheridan,  à  celles de Fisher's Hill et de Cedar Creek, où il est blessé et breveté major général des volontaires. Grover est ensuite transféré dans le département du sud et en février 1865 il prend le commandement du district de Savannah.