Stroheim emigrerte til USA en gang mellom 1906 og 1909, og hadde noen strøjobber før han ankom Hollywood i 1914 og begynte å jobbe med film. Han var sønn av Benno Stroheim, en hattemaker som hadde flyttet til Østerrike fra Polen, og Johanna Bondy, som begge var troende jøder. Stroheim hevdet selv han var adelig og kom fra en gammel prøyssisk militærfamilie, men både Billy Wilder og Stroheims agent Paul Kohner benektet dette. De hevdet Stroheims dialekt tydet på at han kom fra lav byrd og den franske regissøren Jean Renoir gikk så langt som å si at Stroheim knapt kunne snakke tysk i det hele tatt.