Morgan lahir dengan nama Francis Phillip Wuppermann di New York City, dari pasangan Josephine Wright (née Hancox) dan George Diogracia Wupperman. Ia adalah anak bungsu dari enam bersaudara dan lima bersaudari. Kakeknya Wuppermann lahir di Venezuela, namun dibesarkan di Hamburg, Jerman dan berdarah Jerman dan Spanyol. Ibunya lahir di Amerika Serikat, berdarah Inggris. Keluarganya meraih kekayaannya dari pendistribusian arak Angostura, membolehkan Wuppermann untuk masuk Cornell University dimana ia bergabung dengan Phi Kappa Psi Fraternity dan Glee Club. Ia kemudian mengikuti kakaknya Ralph Morgan yang masuk bisnis acara, mula-mula pada penggung Broadway dan kemudian perfilman.