James Baker er sønn av advokaten James Addison Baker jr. og hans hustru Ethel Bonner Means (død 1991). Baker tok først eksamen ved Princeton University i 1952, før han gikk inn i United States Marine Corps, hvor han tjenestegjorde som løytnant i to år. Etter militærtjenesten studerte Baker rettsvitenskap ved University of Texas i Austin, og avla eksamen i 1957 med juridisk doktorgrad. Han praktiserte som advokat fra 1957 til 1969 og igjen fra 1973 til 1975 hos Andrews & Kurth LLP i Houston.