Da han mistet denne posten i 1854, hengav han seg til litterære beskjeftigelser, særlig utarbeidelsen av sine memoarer (, New York. 1855–56, 2 bind.). Deretter fikk han den vanskelige oppgave å gjennomgå Kongressens forhandlinger for grunnleggelsen av republikken og få de utgitt i sammenfattet for. Han døde innen han ble ferdig med denne oppgaven.