Am 2. Dezember 1864 berief ihn US-Präsident Abraham Lincoln, mit dem er seit seiner Jugend befreundet war, als Nachfolger von "Attorney General" Edward Bates in sein Kabinett. Nach der Ermordung von Lincoln am 15. April 1865 verblieb er auch unter dessen Nachfolger Andrew Johnson in diesem Amt.