Phillips Academy
カーターは1866年、実業家の父ヘンリー・カーターと宣教医の娘であるシビルの子としてホノルルに生まれた。ホノルルのを卒業後、のフィリップス・アカデミー、イェール大学で教育を受けた。1982年4月19日にイーストマン・コダック社の社長、の娘であるヘレンと結婚し、4人の子供をもうけた。