摩根1813年4月14日出生在马萨诸塞州霍利奥克 。摩根这个姓氏可以追溯到威尔士卡马森 ，第一个知名的摩根家族的祖先是Hyfaidd AP Bleddri，威尔士的Bledri的三子。迈尔斯·摩根是美洲摩根家族的祖先，1636年自英格兰布里斯托尔移民到波士顿。摩根的职业生涯开始于1829年，受雇于波士顿的阿尔弗雷德·威尔斯。他继承了他的父亲约瑟夫·摩根的财产，并表现出卓越的商业才能。他很快受邀成为J. M. Beebe & Co.公司的合伙人，这是波士顿最大的零售商店之一，也是全国最大的纺织品进口和加工