龄担任总统时，发色全转灰白。杰克森是美国历来最病弱的总统之一，深为习惯性的头疼与腹痛，以及短促而频繁的干咳所苦；他的病痛主要是源自于一颗从未自他肺部移除的火枪子弹，造成他经常咳血，甚至咳到全身震颤。
私生活.杰克森之妻，瑞秋·杰克森，于其就总统职两个月后身故，死于严重心脏病，但无从证实。她与第一任丈夫，路易斯·罗巴德（Lewis Robards）上校，据推定应已结束婚姻关系，但离婚程序有法律效力上的瑕疵。对于旁人非议其妻之贞洁，杰克森深感愤慨。1806年3月30日，查尔斯·迪金