Lee ble født i 1947 i Queens i New York. Han var annet barn til Lee Yin Chuck og Jung See Lee, som begge var innvandret til USA fra Kina. Hans far fikk arbeid på vaskeri, hans mor arbeidet som syerske. Han hadde en eldre søster og tre yngre brødre.