Morgan hadde fire barn, to døtre og to sønner. Ingen av barna ble toppsjefer i noen av bankene faren etterlot seg.