Green ble født i 1936 i Atlanta og gikk på Henry W. Grady High School i samme by. Fra 1955 til 1958 gikk han på Georgia Institute of Technology hvor han spilte amerikansk fotball for Georgia Tech Yellow Jackets.