В середине 1863 года Дэвис направил Стивенса на бесплодную миссию в Вашингтон, чтобы обсудить вопрос об обмене пленными, но сразу же после победы федералов в Битве при Геттисберге администрация Линкольна отказалась его принять. Поскольку война продолжалась, и судьба Конфедерации шла под уклон, Стивенс стал более откровенным в своей оппозиции к администрации. 16 марта 1864 года Стивенс выступил с речью в Законодательном собрании Джорджии, которая широко освещалась как на Севере, так и на Юге. В ней он обвинил администрацию Дэвиса в поддержке призыва и приостановлении Хабеас корпуса, после чего поддерживал блок решений, направленных на обеспечение мира. С тех пор как он начал настаивать на действиях, направленных на установление мира, и до конца войны, его отношения с Дэвисом стали портиться.