Lee ble født i 1965 i Oakland som sønn av den legendariske kampsportutøveren Bruce Lee og kona Linda Lee. Da han var tre måneder gammel flyttet familien til Los Angeles i California. Da faren etter hvert fikk problemer med å få filmroller, flyttet de til Hongkong i 1971. Etter farens død i 1973 tok moren Brandon og søsteren hans, Shannon, med tilbake til USA, først til Seattle og så til Los Angeles.