In der Folge bis zu seinem Tod am 3. Juli 1868 beschuldigte er Stanton, hinter den Kulissen das Attentat auf Lincoln geplant zu haben. Als Beweis führte er unter anderem an, Stanton habe wichtiges Beweismaterial wie das Tagebuch von John Wilkes Booth manipuliert, indem er 18 Seiten dieses Buches verschwinden ließ (diese Seiten fehlen tatsächlich bis zum heutigen Tag). Außerdem fühlte er sich bedroht. Er glaubte, Stanton habe gedungene Mörder auf ihn angesetzt. Als er dann starb, kamen auch bald entsprechende Gerüchte auf. Tatsächlich scheint die Todesursache laut einer DNA-Analyse eine Arsenvergiftung zu sein. Deren Ursache ist aber ungewiss und seine Anschuldigungen bleiben spekulativ.