Andrew Jackson
Làm nghề nông nghiệp và các vụ tranh cãi

Ngoài sự nghiệp pháp lý và chính trị của mình, Jackson còn làm ăn thịnh vượng với tư cách là chủ đồn điền, chủ nô lệ và thương gia. Ông đã xây dựng một ngôi nhà và cửa hàng tổng hợp đầu tiên ở Gallatin, Tennessee, vào năm 1803. Năm sau, ông mua lại Hermitage, đồn điền 640 mẫu Anh (259 ha) ở Hạt Davidson, gần Nashville. Sau đó, ông đã thêm 360 mẫu Anh (146 ha) vào đồn điền, cuối cùng có tổng 1.050 mẫu Anh (425 ha). Cây trồng chính là bông, do nô lệ trồng — Jackson bắt đầu với chín nô lệ, sở hữu 44 nô lệ vào năm 1820, và sau đó lên đến 150 nô lệ, đưa ông vào hàng ngũ chủ đồn điền. Jackson cũng đồng sở hữu với con trai mình là Andrew Jackson Jr đồn điền Halcyon ở hạt Coahoma, Mississippi, nơi có 51 nô lệ vào thời điểm ông qua đời. Trong suốt cuộc đời của mình, Jackson có thể đã sở hữu tới 300 nô lệ.
Đàn ông, phụ nữ và nô lệ trẻ em thuộc sở hữu của Jackson làm việc trên ba phần của đồn điền Hermitage. Nô lệ sống trong các đơn vị gia đình mở rộng từ năm đến mười người và có 400 foot vuông (37 m2)   cabin làm bằng gạch hoặc gỗ. Quy mô và chất lượng của khu nô lệ Hermitage vượt quá tiêu chuẩn của thời đại ông. Để giúp nô lệ có được thức ăn, Jackson đã cung cấp cho họ súng, dao và thiết bị đánh cá. Đôi khi ông trả công cho nô lệ của mình bằng tiền và tiền xu để buôn bán ở các thị trường địa phương. Đồn điền Hermitage là một doanh nghiệp thu lợi nhuận. Jackson cho phép nô lệ bị đánh đòn để tăng năng suất hoặc nếu ông tin rằng hành vi phạm tội của nô lệ là đủ nghiêm trọng. Tại nhiều thời điểm khác nhau, ông đăng quảng cáo tìm những nô lệ chạy trốn khỏi đồn điền của mình. Trong một quảng cáo được đăng trên tờ Tennessee Gazette vào tháng 10 năm 1804, Jackson đã đề nghị "thêm 10 đô la cho mỗi 100 roi đánh người nô lệ đó, với số tiền tối đa chi trả là ba trăm."
Cuộc tranh cãi xung quanh cuộc hôn nhân của ông với Rachel vẫn là một điểm nhức nhối đối với Jackson, người vô cùng phẫn nộ khi bị người khác tấn công danh dự của vợ mình. Đến tháng 5 năm 1806, Charles Dickinson, người, giống như Jackson, cũng tham gia đua ngựa, đã đăng bài tấn công Jackson trên tờ báo địa phương, và nó dẫn đến một cuộc đấu khẩu bằng văn bản từ Jackson. Vì Dickinson được coi là một tay bắn chuyên nghiệp, Jackson xác định tốt nhất là để Dickinson quay đầu và bắn trước, hy vọng rằng Dickinson có thể bắn quá nhanh và trược; còn Jackson sẽ đợi và cẩn thận ngắm vào Dickinson. Dickinson nổ súng trước, trúng ngực Jackson. Viên đạn găm vào gần tim Jackson đến mức không thể lấy ra được. Theo quy tắc đấu tay đôi, Dickinson phải nằm yên trong khi Jackson nhắm và bắn chết anh ta. Hành vi của Jackson trong cuộc đấu tay đôi đã khiến nhiều người ở Tennessee phẫn nộ, họ gọi đây là một vụ giết người tàn bạo, máu lạnh và khiến Jackson mang tiếng là một kẻ bạo lực và đầy thù hận. Ông trở thành một kẻ bị xã hội ruồng bỏ.
Sau vụ Sevier và cuộc đấu khẩu, Jackson tìm mọi cách để vớt vát danh tiếng. Ông đã chọn về phe với cựu phó chủ tịch Aaron Burr. Sự nghiệp chính trị của Burr kết thúc sau khi giết chết Alexander Hamilton trong một cuộc đấu tay đôi vào năm 1804; vào năm 1805, ông bắt đầu một chuyến du lịch đến vùng đất khi đó là miền Tây Hoa Kỳ. Burr được người dân Tennessee đón nhận rất nồng nhiệt, và ở lại Hermitage năm ngày. Ý định thực sự của Burr không được biết một cách chắc chắn. Anh ta dường như đã lên kế hoạch cho một chiến dịch quân sự để chinh phục Florida của Tây Ban Nha và đánh đuổi người Tây Ban Nha khỏi Texas. Đối với nhiều người phương Tây như Jackson, lời hứa này có vẻ hấp dẫn. Những người định cư miền Tây nước Mỹ từ lâu đã có cảm xúc cay đắng đối với Tây Ban Nha do tranh chấp lãnh thổ và sự thất bại dai dẳng của họ trong việc ngăn cản người da đỏ sống trên lãnh thổ Tây Ban Nha đánh phá các khu định cư của người Mỹ. Vào ngày 4 tháng 10 năm 1806, Jackson phát biểu trước lực lượng dân quân Tennessee, tuyên bố rằng những người này nên "sẵn sàng hành quân bất kỳ lúc nào." Cùng ngày, ông viết thư cho James Winchester, tuyên bố rằng Hoa Kỳ "không chỉ có thể chinh phục các vùng Florida [vào thời điểm đó có Đông Florida và Tây Florida.], Mà tất cả Bắc Mỹ thuộc Tây Ban Nha." Ông nói tiếp:
I have a hope (Should there be a call) that at least, two thousand Volunteers can be lead into the field at a short notice—That number commanded by firm officers and men of enterprise—I think could look into Santafee and Maxico—give freedom and commerce to those provinces and establish peace, and a permanent barier against the inroads and attacks of forreign powers on our interior—which will be the case so long as Spain holds that large country on our borders.
Jackson đồng ý cung cấp thuyền và các đồ đạc khác cho chuyến thám hiểm. Tuy nhiên, vào ngày 10 tháng 11, ông biết được từ một đại úy quân đội rằng kế hoạch của Burr dường như bao gồm việc chiếm giữ New Orleans, sau đó là một phần của Lãnh thổ Louisiana của Hoa Kỳ, và hợp nhất nó, cùng với các vùng đất giành được từ người Tây Ban Nha, thành một đế chế mới. Ông càng thêm phẫn nộ khi biết được từ cùng một người về sự tham gia của Chuẩn tướng James Wilkinson, người mà ông vô cùng ghét bỏ, trong kế hoạch này. Jackson hành động thận trọng, nhưng đã viết thư cho các quan chức công quyền, bao gồm cả Tổng thống Thomas Jefferson, cảnh báo một cách mơ hồ về kế hoạch này. Vào tháng 12, Jefferson, một đối thủ chính trị của Burr, đã đưa ra một tuyên bố tuyên bố rằng một âm mưu phản quốc đang được tiến hành ở phương Tây và kêu gọi bắt giữ những thủ phạm. Jackson không bị bắt vì các bức thư của mình đã minh chứng giúp ông, và đã tổ chức lực lượng dân quân. Burr nhanh chóng bị bắt, và những người dân quân được đưa về nhà. Jackson đến Richmond, Virginia, để làm chứng thay mặt Burr trong phiên tòa xét xử. Nhóm bào chữa đã quyết định không đặt Burr lên bục nhân chứng, vì sợ nhận xét của anh ta quá khiêu khích. Burr được tha bổng về tội phản quốc, bất chấp những nỗ lực của Jefferson để khiến ông ta bị kết tội. Jackson đã tán thành James Monroe cho chức tổng thống vào năm 1808 chống lại James Madison. Sau này Madison là một phần của phe cánh Jeffersonian của Đảng Dân chủ-Cộng hòa. Jackson sống tương đối yên tĩnh tại Hermitage trong những năm sau vụ án Burr, cuối cùng tích lũy được 640 mẫu đất.