Figlio di Annis Speed e Charles Forrest Andrews, un ministro della chiesa battista, Forrest era il 12º di 13 bambini. Uno dei suoi fratelli maggiori fu la star cinematografica Dana Andrews. Forrest entrò nella United States Army a 18 anni e combatté nella Offensiva delle Ardenne durante la Seconda guerra mondiale. Nel 1950 conseguì un dottorato alla UCLA, con specializzazione in teatro e psicologia. Lavorò come macchinista presso la compagnia teatrale La Jolla Playhouse, vicino a San Diego. Lì lo scopri Gregory Peck, che lo inserì nel cast della pièce "Goodbye Again", e gli fece ottenere un provino cinematografico con la casa produttrice MGM, che lo mise sotto contratto.