Allegheny Mountains
モーガンはアラバマ州ハンツビルで、カルビンとヘンリエッタ・モーガン夫妻の最初の子として生まれた。遺伝学者のトーマス・ハント・モーガンの叔父であり、ケンタッキー州レキシントンの初期設立者でアレゲーニー山脈から西では最初の百万長者の一人ジョン・ウェズリー・ハントの孫だった。南軍の将軍となったA・P・ヒルやバジル・W・デュークとは義兄弟でもあった。