Él salió de Washington antes de la inauguración de Jefferson como disponía el luto por la muerte de su hijo Charles Adams (debido en parte al alcoholismo) y su deseo de reunirse con su esposa Abigail, que había abandonado la Casa Blanca meses antes de la inauguración.