A mitjans del 1863, Davis va enviar Stephens a una missió infructuosa a Washington per discutir l'intercanvi de presoners, però immediatament després de la victòria Federal de Gettysburg, l'administració de Lincoln es va negar a rebre'l. Mentre la guerra continuava, i la sort de la Confederació s'enfonsar, Stephens va fer-se més explícit en la seva oposició a l'administració. El 16 de març de 1864, Stephens, va pronunciar un discurs davant la legislatura de Geòrgia que va ser àmpliament difós tant al Nord com al Sud. En ell, l'administració Davis hi sortia malparada pel seu suport a la reclutament i la suspensió de l'habeas corpus, hi ha més, fou partidari d'un bloc de resolucions encaminades a garantir la pau. Des de llavors fins al final de la guerra, ja que va continuar pressionant a les accions destinades a aconseguir la pau, mai les seves relacions amb Davis foren càlides, per tornar-se més tard completament amargues.