Granger wurde 1925 in Kalifornien als Sohn eines Autohändlers geboren. 1929 zwang der große Börsencrash die Familie, von San Jose nach Los Angeles zu ziehen. Schon als High-School-Schüler an der North Hollywood High School begann er, Theater zu spielen, ehe er von Samuel Goldwyn für den Film entdeckt wurde. Daraufhin folgte 1943 sein Leinwanddebüt in Lewis Milestones Kriegsfilm "The North Star", in dem Granger neben Walter Huston und Anne Baxter in die Rolle eines russischen Halbwüchsigen schlüpfte. Ein Jahr später erhielt Granger die Rolle des Sergeant Howard Clinton in "The Purple Heart", auch diesmal unter der Regie von Milestone. Von 1944 bis 1946 diente Granger in der US-Army und stand Ende der 1940er-Jahre wieder vor der Kamera.