Jackson eide faktisk eiendommen på den andre siden av Dearing Street fra treet. Den tomten inkluderer dagens 226 Dearing Street, men på den tiden Jackson bodde der var området bare designert Lot #14. Treet derimot er på tomten som ville ha vært Lot #15. Jackson og hans kone Mildred, solgte tomten til Dr. Malthus Ward i 1832, samme året som treet skal ha fått eiendom over seg selv. Det er ikke visst når eller fra hvem Jackson opprinnelig kjøpte tomten fra, men det er vist at mye av landet i området skal ha tilhørt James Meriwether. Selv om Jacksom kan ha levd i nærheten av treet da han var voksen, så tilbragte han mye av barndommen sin i Jefferson County, og ikke i Athens, noe som gjør det enda mindre sannsynlig at han hadde kjære barndomsminner om treet.