Farley Grangers foreldre var Eva (født Hopkins) og Farley Earle Granger sr. Faren var forretningsmann. far var rik, og familien tilbrakte ofte tid på strandhuset som familien eide i Capitola. Men etter børskrakket og den påfallende finanskrisen på Wall Street i 1929 ble Granger-familien tvunget til å selge sine mange hjem og de fleste av deres personlige eiendeler og de flyttet fra San Diego til Los Angeles inn i en litt mindre leilighet i nærheten av familiebedriften som faren eide, hvor de bodde de påfølgende to årene. Som en følge av dette økonomiske tilbakeslaget og tapet av deres tidligere sosiale status, begynte begge Grangers foreldre å drikke.