Sisällissodan alussa hän järjesteli Potomacin armeijaa ja komensi lyhyesti yhtä sen divisioonaa. Marraskuusta 1861 hän oli lyhyen aikaa Ohion joukkojen komentaja, ja marssitti joukkonsa Nashvilleen. 21. maaliskuuta 1862 hänet ylennettiin kenraalimajuriksi. Shilohin taistelussa hän auttoi Ulysses S. Grantia voittamaan etelävaltiot. Buell jatkoi Henry W. Halleckin alaisena Corinthin taistelussa. Kesä- ja heinäkuussa hän yritti divisioonineen edetä kohti Chattanoogaa, mutta konfederaation ratsuväki Nathan Bedford Forrestin johtamana pakotti hänet pysähtymään.