Hun var datter av Vivian og Everett Emery. Hennes familie var troende baptister av svensk og engelsk avstamming. Cadwell møtte Bruce Lee mens hun studerte ved Garfield High School, der Bruce Lee kom for å demonstrere kung fu. Etter hvert ble hun en av hans Kung Fu-elever da hun var tilstede ved Washington University som student. Hun giftet seg med Lee 17. august 1964. De hadde to barn sammen, Brandon Lee og Shannon Lee. Bruce Lee hadde åpnet sin egen Kung Fu-skole på denne tiden og lærte bort kampsporten Jeet Kune Do. Bruce Lee døde plutselig den 20. juli 1973 av et cerebralt ødem.