Johansson ble født i New York. Hennes far, Karsten Johansson, var født i Danmark, og hennes farfar, Ejner Johansson, var manusforfatter og regissør. Hennes mor, Melanie Sloan, kommer fra en amerikansk (polsk) jødisk familie, og hun møtte Karsten Johansson mens hun bodde i Danmark sammen med Scarlett Johanssons mormor, Dorothy, en tidligere bokholder og lærerinne. Johansson har en eldre søster, Vanessa, som også er skuespillerinne, en eldre bror, Adrian, samt en tvillingbror, Hunter, som også er skuespiller. Hun har i tillegg en halvbror som heter Christian.