גריינג'ר נולד למשפחה מבוססת שאיבדה את כל רכושה בנפילת הבורסה בניו יורק ב-1929. המשפחה עברה לדירה קטנה בהוליווד שם עבד האב בעבודות מזדמנות. באחת ההצגות הבחין בו צייד כישרונות של סמואל גולדווין והציע לו תפקיד קטן בסרט "כוכב הצפון" (1943) ולאחריו קיבל תפקיד יותר משמעותי בסרט "לב הארגמן" (1944) לצידו של דיינה אנדרוז.