Harris har en eldre bror, Robert, og en yngre bror, Spencer og vokste opp i en middelklassefamilie i New Jersey. Han ble uteksaminert fra Tenafly High School i 1969, der han spilte på fotballaget, og fungerte som lagkaptein i sitt avgangsår. Harris var også idrettsutøver på videregående skole og konkurrerte i friidrett ved Columbia University i 1969. To år senere flyttet familien til New Mexico og Harris ble med etter å ha oppdaget sin interesse for skuespill og teater. Han ble immatrikulert ved University of Oklahoma der han studerte drama og skuespill. Etter flere suksessfulle roller ved det lokale teateret, flyttet Harris til Los Angeles, og han ble innrullert ved California Institute of the Arts.