O termo "Exército do Tennessee" foi primeiramente usado no exército da União em março 1862, para descrever as forças da União, talvez mais apropriadamente descrito como o "Exército de Tennessee Ocidental", estas foram as tropas sob o comando do Major General Ulysses S. Grant no Distrito de União do Oeste Tennessee. Em abril de 1862, as tropas de Grant sobreviveu a uma dura prova na violenta Batalha de Shiloh. Então, durante seis meses marcados pelo desânimo e ansiedade para Grant, seu exército ingressou com dois outros exércitos da União para executou com pouco derramamento de sangue o Cerco de Conrinto e então esforçou-se para manter as posições da União no Tennessee e Mississippi. Em outubro de 1862, o comando de Grant foi reconfigurado e elevado ao status de departamento, como o Departamento do Tennessee, o seu título de comando foi assim oficialmente alinhado com o do seu exército. Grant comandou suas forças após a importante vitória em Vicksburg, em julho de 1863. De acordo com outros generais, como William Tecumseh Sherman, o exército marchou e combateu na Batalha de Chattanooga, a Batalha de Knoxville, a Batalha de Meridian, a Batalha de Atlanta, a Marcha para o Mar, a Batalha de Carolinas, e ao final da guerra houve a sua dissolução.