北軍において「テネシー軍」の呼称が初めて使用されたのは1862年3月である。ユリシーズ・グラント少将隷下の西テネシー小軍管区（District of West Tennessee）の部隊を表すもので、より適切には「西テネシー軍（Army of West Tennessee）」と呼ばれるべきものであった。1862年4月、軍は大出血を被ったもののシャイローの戦いを戦い抜いた。続いてテネシー軍はオハイオ軍、ミシシッピ軍と合流し、比較的損害の少なかったコリンスの包囲戦に参戦し、その後テネシーとミシシッピにおける北軍の勢力を維持するために努力した。1862年10月、グラントはそれまでの西テネシー小軍管区からテネシー軍管区（Department of the Tennessee）の司令官に権限が拡大され、彼の指揮下にあるテネシー軍の名称は、その公式な担当区域を一致することとなった。グラントはビックスバーグ方面作戦における決定的な勝利まで、テネシー軍を指揮した。1863年7月以降、ウィリアム・シャーマンを始めとする後任の軍司令官に率いられ、テネシー軍はチャタヌーガ方面作戦からノックスビル解放作戦、、アトランタ方面作戦、海への進軍、カロライナ方面作戦を戦い、戦争終了後に解散した。この記事では、グラントが1861年から1862年まで指揮していた、南東ミズーリ小軍管区（District of Southeast Missouri）およびケイロー小軍管区（District of Cairo）にも触れる。これらはベルモントの戦い、ヘンリー砦の戦い・ドネルソン砦の戦いでグラントが率いていた部隊であり、後のテネシー軍の中核となったためである。