Summers ble født i New Haven i Connecticut i 1954. Han har jødisk bakgrunn, og kommer fra en familie av økonomer. Begge foreldrene var professorer ved Universitetet i Pennsylvania, og han er også nevø av to nobelprisvinnere i økonomi, Paul Samuelson og Kenneth Arrow.