સ્કારલેટનો જન્મ એક આર્કિટેક્ટ (પિતા) અને નિર્માતા (મા) ના પરિવારમાં ન્યૂયોર્કમાં થયો હતો, તેણે ગ્રીનવિચ વિલેજ વિસ્તારમાં તેના બાળપણનો ખર્ચ કર્યો હતો અને ત્યાંથી થિયેટર સ્કૂલમાં ગયા હતા.