James Whitmore studerte ved Amherst Central High School i Snyder i New York, før han tok eksamen fra The Choate School (nå Choate Rosemary Hall) i Wallingford i Connecticut. Han fortsatte med å studere ved Yale University, hvor han var medlem den hemmelige foreningen Skull and Bones som også tidligere president George W. Bush var en del av.