James Bruderlin var den eldste av to brødre og to søstre. Han var sønn av Helen Sue (født Mansur), husmor, og Henry Hurst Bruderlin, som var entreprenør. Familien bosatte seg i Westwood kort tid etter hans fødsel. I en alder av 20 år skiftet han etternavn fra Bruderlin til Brolin.