1861-ben Washingtonba ment, 1861. május 17-én dandártábornokká, később vezérőrnaggyá léptették elő. Buell segített megszervezni az északiak Potomac hadseregét (1861. október 3. - november 9.) George B. McClellan hadseregtábornok vezetése alatt. Politikai megfontolásokból több ponton szétszórtan kellett tartani a Potomac Hadsereget, hogy az Unióval szimpatizáló határmenti államok biztonságban érezzék magukat, hiszen a konföderációsok részéről nap mint nap a felkoncolás veszélye állt fenn Missouriban, Kentuckyban, Tennessee államban, Nyugat-Virginiában. Buell dandárját Kelet-Tennessee-be vezényelték, innen érkezett Lew Wallace tábornokkal 25 ezer főnyi sereggel erősítésként Tennessee állam délnyugati részébe, a Shiloh-i csatába 1862. április 6-ról 7-ére virradó éjszaka. A csata első napját (július 6.) a déliek nyerték meg, de a második napon (július 7.) az északiak diadalmaskodtak.