アンドリュー・ジョンソン
1808年12月29日にジェイコブ・ジョンソン(1778年 - 1812年)およびメアリー・マクドノー(1783年 - 1856年)の息子としてノースカロライナ州ローリーで生まれた。家系はイングランド系、スコッツ・アイリッシュ系及びアイルランド系である。4歳年長の兄・ウィリアムがおり、エリザベスという姉もいたが早世した。祖父のウィリアムも貧しかったが、結婚し家庭を持った時には地元ローリーの副保安官であった。父・ジェイコブも母・メアリーも読み書きができず、居酒屋で働いていたため、アンドリューは学校へ通うこともできなかった。父親のジェイコブはアンドリューが3歳の時、溺れていた3名を救出した直後に心臓発作で死去し、一家は貧困の中に残された。母親は単独で家計を支えるため洗濯を生業としていたが、後に同様に貧しいターナー・ドートリーという男性と再婚した。母親はアンドリューが10歳か14歳の時に洋服屋へ奉公に行かせた。1820年代に彼はサウスカロライナ州ローレンス(英語版)の仕立屋で働いた。貧しい家庭のためジョンソンは正式の教育を受けず、独学で読み書きを学んだ。
1826年、16歳もしくは17歳で見習いを終え、兄弟と共にテネシー州グリーンビル(英語版)へ移り住んだ。同地で洋服屋の従業員として働く 。1827年、19歳のジョンソンは17歳のイライザ・マカーデルと結婚した。1828年から52年までの間に夫妻は5人の子供をもうけた。マーサ(1828年生)、チャールズ(1830年生)、メアリー(1832年生)、ロバート(1834年生)、アンドリュー・ジュニア(1852年生)。イライザは基礎的な代数までの計算をジョンソンに教え、彼の読み書きと作文を改善するために家庭教師を行った。