Nach dem Mord an Abraham Lincoln verblieb Usher unter dessen Nachfolger Andrew Johnson nur noch für einen Monat im Amt; er hatte aber schon am 9. März 1865 seinen Rücktritt erklärt, der dann am 15. Mai wirksam wurde. Seine Machtbasis in seinem Heimatstaat litt darunter, dass Lincoln zu Beginn seiner zweiten Amtszeit mit Hugh McCulloch einen weiteren Politiker aus Indiana als Finanzminister in sein Kabinett geholt hatte. Zudem wuchs der öffentliche Druck auf den Präsidenten, ein Ministeramt mit einem Methodisten zu besetzen; Usher hatte die Mitglieder dieser Konfession durch politische Entscheidungen gegen sich aufgebracht. Noch am Tag seines Rücktritts wurde mit James Harlan ein Methodist als Nachfolger benannt, der sein Amt dann aber erst unter Andrew Johnson antrat.