General Orders No. 97 udpegede generalmajor Don Carlos Buell til at lede militærområdet Ohio. Alle styrker i området blev derefter organiseret i Army of the Ohio med Buell som øverstbefalende. I starten af 1862 udkæmpede hæren sit første slag i Slaget ved Mill Springs, selv om kun dens 1. division under ledelse af brigadegeneral George H. Thomas var involveret. Hele hæren marcherede af sted for at forstærke generalmajor Ulysses S. Grant på andendagen af Slaget ved Shiloh. Buell blev erstattet som øverstkommanderende af brigadegeneral Horatio G. Wright i august, men på grund af Wrights lavere rang beordrede generalmajor Henry W. Halleck Thomas til at erstatte Wright som øverstbefalende. Imidlertid forudså Thomas, at et større slag var under opsejling og følte, at det var uklogt at skifte chefen ud på et sådant tidspunkt, så Buell fortsatte som chef, og Thomas blev næstkommanderende. Slaget, som Thomas forudså, indtraf i oktober 1862, da hæren slog general Braxton Braggs invasion af Kentucky tilbage i Slaget ved Perryville. Buell kom under kritik for ikke at have fulgt op på sin sejr og blev erstattet af generalmajor William S. Rosecrans. Rosecrans blev også udpeget til at lede militærområdet Cumberland og omdøbte efterfølgende hæren til "Army of the Cumberland".