El 19 de octubre de 1824, estaba en Yorktown para el aniversario de la rendición de Cornwallis, después viajó a Monticello para encontrarse con su viejo amigo Jefferson y el sucesor de Jefferson, James Madison, quien llegó inesperadamente.