Urodził się w Huntsville w Teksasie jako dwunaste z trzynaściorga dzieci Annis (z domu Speed) i pastora baptystycznego Charlesa Forresta Andrewsa (1881–1940). Jeden z jego starszych braci Dana Andrews (1909-1992) był gwiazdorem filmowym. Forrest w wieku 18 lat zaciągnął się do United States Army i walczył w bitwie o Ardeny w czasie II wojny światowej. W 1950 roku zdobył tytuł licencjata z wyróżnieniem UCLA, na wydziale teatru z dodatkowym kierunkiem psychologii.