Under sin reconvalescens kom Davis den 29. september 1862 i skænderi med sin overordnede generalmajor William "Bull" Nelson, i "Galt House" i Louisville, Kentucky. Davis var blevet forhånet af Nelson ved tidligere lejligheder, og da han blev slået i ansigtet, skød og dræbte han Nelson. Han blev arresteret og sat i fængsel, men generalmajor Horatio G. Wright kom ham til hjælp og fik ham løsladt. Han undgik at blive dømt for mord, fordi der var mangel på erfarne officerer i Unionshæren. Han førte Første division i højre fløj i Army of the Cumberland i Slaget ved Stones River, hvor hans tropper blev slået på flugt efter at være blevet ramt af et massivt overraskelsesangreb i siden. Hans division blev omdøbt til 1st Division, XX Korps i Slaget ved Chickamauga. Han førte 2nd Division, XIV Korps i Slaget ved Chattanooga og under Atlanta kampagnen. Han overtog kommandoen over XIV Korps og førte det gennem Shermans march til havet og Carolina kampagnen.