Le , il tue d'un coup de révolver le général William Nelson à la suite d'une altercation. Il est alors mis aux arrêts puis relâché. Il rejoint alors son poste. Jefferson C. Columbus commande la "4th division" de l'armée du Mississipi lors du siège de Corinth. Il commande alors la "1st division" du "XIV Corps" lors de la bataille de Murfreesboro puis la "1st division" du "XX Corps" à la bataille de Chickamauga.