Lea var nummer fem av åtte søsken og kom til verden hjemme hos foreldrene som da bodde øverst i Tollbodallmenningen. Slekten Lea kom egentlig fra Høyland på Jæren, men den nyfødtes oldefar, Lars Olsen Lea, løste skipperborgerbrev i Bergen, hadde seks skip og startet sammen med Hans Nielsen Hauge Bergens eneste lysestøperi, beliggende i Gråmuren (smugene mellom Torgallmenningen og det gamle rådhuset). Erik Grant Leas far, Lars Lea (1861–1940), var amerikansk statsborger og hadde tjenestegjort under sønnen til Ulysses Grant, Lawrence Grant. Den nyfødte fikk derfor mellomnavnet Grant. I tillegg ville etternavnet Lea av amerikanere bli uttalt som navnet til den andre store generalen i den amerikanske borgerkrig, sørstatsgeneralen Robert E. Lee. Lars Lea hadde deltatt i indianerkrigene fra et fort i Montana, men et vådeskudd gjennom venstre kne kostet ham venstre beinet, som ble gravlagt under full militær honnør. Han vendte hjem til Bergen på ett bein, men klarte seg bra på uføretrygd og som edsvoren oversetter i engelsk. Han oversatte rettsdokumenter, skrev lærebøker i handelsfag og var norgeskorrespondent for avisene og . Han lærte seg også esperanto, og ble professor i volapük. Fridtjof Nansen var blant dem som vanket i hjemmet. Nansen og den enbeinte Lea tok svømmeturer sammen over Damsgårdssundet. «Lea med beinet» het han på folkemunne. Gradvis ble han svært autoritær overfor konen Anna Bertine Magnussen og de åtte barna, og hjemmet var preget av foreldrenes stadige krangler og ufred. Han var ingen flittig elev, og karakterene ble deretter, men sommerferiene var lykkelige avbrudd. De første årene ferierte familien på Landås, i Vognstølen der Haukelandstrikken snudde. Senere dro de helt opp i Fana, til Hatlestad ved Kalandsvannet. Hjemme ble det lagt vekt på pent språk, det het «møtrikk» og ikke «mutter» (som siden ble den vanlige betegnelsen). Hushjelpen skulle tiltales i tredje person, mens hushjelpen skulle tiltale Leas søstre med «frøken» og guttene med «mosjø» (fransk ). med utsikt over Vågen. Etter bergensbrannen 1916 flyttet han til hjørnehuset Tornøegården. I 1915-16 kjøpte og solgte han skip for 30 millioner. I 1917 ble seks av hans aksjeselskaper kjøpt opp av Bjørnstad og Bærhus. Han opprettet da Leas Assuranseselskap A/S. I tillegg kom forsikringsselskapene Jupiter og National. Deretter opprettet han Leas Aktie- og Bankierforretning A/S.