I 1920 flyttet den da ni år gamle Wong med sin far fra Kina til USA. Han skulle aldri se sin mor og sine søsken igjen. De ble først internert på Angel Island, som følge av Chinese Exclusion Act. Han ble atskilt på øya fra sin far, og det var ingen andre barn å se der. "Nine years old, I was scared half to death," mintes han senere. Faren og han ble så sluppet ut fra Angel Island, og de dro først til Sacramento. Faren tok så familien til Los Angeles.