In der Schlacht von Shiloh am 6./7. April 1862 eilte er mit seiner Armee General Grants Tennessee-Armee zu Hilfe und schlug mit diesem die konföderierte Mississippi-Armee. Buell ging davon aus, dass sein Erscheinen Grant davor bewahrte, eine entscheidende Niederlage hinnehmen zu müssen. Grant, der die Angelegenheit anders sah, startete eine Kampagne gegen ihn, die Buells Karriere nicht förderlich war. Während der Schlacht von Corinth im Mai 1862 kämpfte Buell unter Henry Wager Halleck. Im Juni und Juli begann Buell einen Marsch mit vier Divisionen nach Chattanooga. Seine Nachschublinien wurden allerdings von konföderierter Kavallerie unter Nathan Bedford Forrest bei Murfreesboro unterbrochen und die Offensive stoppte.