En 1831 llegó a ser granjero de algodón ausente, mandando a sus esclavos a limpiar los terrenos que su padre le había dejado en Somerville (Tennessee).