Julia Louis-Dreyfus ble født den 13. januar 1961 i New York. Hun er datter av den fransk-fødte forretningsmannen Gérard Louis-Dreyfus (1932–2016), som kom til USA i 1940. Hans formue ble i 2006 anslått til rundt 3,4 milliarder dollar. Familieformuen har, blant annet, bakgrunn i det store franske konsernet Louis-Dreyfus-gruppen (stiftet i 1851) som driver innenfor finans, shipping og landbruksprodukter. Hun har gjennom egen karriere opparbeidet en formue på rundt 200 millioner dollar. Bestefaren Pierre Louis-Dreyfus var av jødisk opphav og var en fjern slektning av Alfred Dreyfus.