アメリカ連合国陸軍
モーガンは1877年にケンタッキー州パリスの郊外にあるアフリカ系アメリカ人コミュニティのクレイスビルで、元奴隷でアメリカ連合国陸軍大佐であったジョン・ハント・モーガンの息子であったシドニー・モーガンと、同じく元奴隷でインディアンとのハーフであったエリザベス・リードの下に生まれた。彼の兄弟には、1916年のエリー湖トンネルでの救助を手伝ったフランク・モーガンがいた。