Ved borgerkrigens start blev Buell tidligt med til at organisere hovedstyrken Army of the Potomac og kommanderede i en kort periode en af dens divisioner. I november 1861 efterfulgte han William T. Sherman som chef for Ohio-militærdistriktet, som senere fik betegnelsen Army of the Ohio og dernæst Army of the Cumberland), til operationer i det østlige Tennessee, et område med unionssympatier, der blev tillagt stor politisk betydning. Buell så grundlæggende bort fra sine ordrer og rykkede frem og indtog Nashville, hovedstaden i Tennessee den 25. februar 1862. Der var ikke megen modstand fra sydstatshæren, som var optaget andetsteds af general Grant, som netop indtog Fort Henry og Fort Donelson. Den 21. marts 1862 blev han forfremmet til generalmajor.