Na początku wojny secesyjnej Buell był współorganizatorem Armii Potomaku i krótko dowodził jedną z jej dywizji. W lipcu 1861 roku otrzymał awans na generała-brygadiera ze starszeństwem od 17 maja. W listopadzie zastąpił gen. bryg. Williama Tecumseha Shermana na stanowisku komendanta Departamentu Ohio w Louisville w stanie Kentucky. Departamentowi Buella podlegała nowo powstała Armia Ohio (później przemianowana na Armię Cumberlandu). Dowódcy oczekiwali od Buella, że będzie operował we wschodnim Tennessee, gdzie najwięcej było sympatyków Unii, które to terytorium uważane było za politycznie istotny czynnik w toczącej się wojnie. Tymczasem Buell zlekceważył sugestie i rozkazy i w zamian ruszył na czele 50-tysięcznej armii na Nashville, zajmując je 25 lutego 1862 roku prawie bez oporu (gdy gen. bryg. Ulysses Grant zdobył 6 lutego Fort Henry, a 16 lutego Fort Donelson konfederaci opuścili Nashville i odeszli na południe). 21 marca Buell otrzymał awans na generała-majora ochotników, ale utracił niezależność, bowiem został podporządkowany Departamentowi Mississippi, dowodzonemu przez gen.-mjra Henry’ego W. Hallecka.