Leiv vokste opp med åtte søsken. Blant disse var en eldre bror Rolv Lea (1891-1941) og en yngre bror Per Wåge Lea (1907-1954), som begge utmerket seg ved deltagelse i andre verdenskrig. Rolv var aktiv i motstandsbevegelsen i Oslo, ble arrestert, stilt for tysk krigsrett, dømt til døden og skutt 26. november 1941. Per var sjøoffiser og flyger, og han ble etter krigen tildelt Krigskorset med sverd, Norges fremste utmerkelse. En yngre bror, Olav Refsnes Lea, ble i 1958 politimester i Stavanger.