Terry besuchte Privatschulen, wo sein Talent im Amerikan Footballspiel auffiel. So erhielt er ein Stipendium für eine Eliteuniversität, die er aber wegen seines rebellischen Verhaltens verlassen musste. Er trainierte auch eine Saison mit den New York Football Giants unter Vince Lombardy. Während der Libanonkrise 1958 war er als US Marine zuständig für die Instandhaltung der Hubschrauber. Kurze Zeit studierte er auch an der New York University. 1959 schickte ihn seine Familie nach Japan, wo er ein Landwirtschaftsprojekt unterstützen und Englisch unterrichten sollte.