Converse ble født 3. august 1924 i byen Laconia i den amerikanske delstaten New Hampshire, og vokste opp i Concord. Hennes far var omtalt som en streng baptistprest, og moren var omtalt som musikalsk. Hun hadde en eldre bror, Paul, og en yngre bror, Phil.