Zu Beginn des Sezessionskriegs half er mit, die Army of the Potomac zu organisieren und kommandierte schließlich eine ihrer Divisionen. Im November 1861 folgte er William T. Sherman als Leiter des Militärdistrikts von Ohio (u. a. verantwortlich für die Army of the Ohio), um militärische Operationen im östlichen Tennessee zu leiten. Dieses Gebiet war unionsfreundlich und galt als politisch wichtig, um den Krieg zu gewinnen. Buell beachtete allerdings nicht seine Befehle und griff stattdessen Nashville an, das er am 25. Februar 1862 ohne großen Widerstand einnahm. Konföderierte Kräfte befanden sich zu dieser Zeit nicht in der Gegend, da sie Ulysses S. Grant bei Fort Henry und Fort Doneldson (siehe Schlacht um Fort Donelson) Widerstand leisteten. Am 21. März wurde Buell zum Generalmajor der Freiwilligen befördert.