Deprimido cuando dejó el cargo, no asistió a la inauguración de Jefferson, siendo uno de los cuatro presidentes vivos (es decir, aquellos que no murieron en el cargo) que no asistieron a la inauguración de su sucesor.