Aceptó retirar su candidatura, siempre y cuando Lincoln le pidiera la renuncia a un miembro de su gabinete que era enemigo político de Frémont; el acuerdo se cerró y el 22 de septiembre de 1864, poco más de un mes y medio antes de las elecciones, Frémont renunció a su candidatura y dejó el camino libre a Lincoln para que volviera a unir a todos los electores republicanos en torno a su postulación.