Terborgh vokste opp i Arlington, Virginia, og ble uteksaminert fra Harvard College i 1958. Han fikk sin doktorgrad i plantefysiologi fra Harvard University i 1963. Han tjenestegjorde ved fakultetet på University of Maryland og så, etter 18 år ved fakultetet på Princeton University. I 1989 flyttet Terborgh til Duke University der han grunnla Duke University Center for Tropisk Bevaring.