Han vokste opp i en fattig innvandrerfamilie i The Bronx i New York. Foreldrene var Helge Carlson, født i Göteborg, og Kerstin Magnusson, født i Visby. Han fikk stipend for å gå en god collegeforberedende kostskole. Han studerte så ved Williams College og University of Minnesota.