Han ble født i Groesbeck i Texas som sønn av Edna (pikenavn McDonald) og Doyle Charles Baker. Han fullførte økonomistudier ved University of North Texas i 1958. Deretter tjenestegjorde han en kort periode i hæren før han gav seg i kast med skuespillerstudier ved Actors Studio i New York City.