Baldwin nació en Amityville, Nueva York, hijo de Carolyn Newcomb (Martineau; nombre de soltera) y Alexander Rae Baldwin, Jr., un profesor de historia/sociales de secundaria y entrenador de fútbol americano.