לי היא בת לשני מהגרים מסין. אביה הגיע לארצות הברית בעקבות השפל הכלכלי הכבד בסין שנוצר כתוצאה ממלחמת האופיום הראשונה באמצע המאה ה-19. כשממשלת סין חויבה בפיצויים אסטרונומיים אחרי המלחמה, היא העבירה את הנטל הכלכלי לאכרים העניים, וכשאלה לא יכלו לעמוד בחובות, נוצרה תנועת הגירה המונית שבה נאלצו רבים לעזוב את ביתם. במסגרת זו, אביה של לי, צ'ין לי, עקר ממולדתו יחד עם אשתו השנייה, יין לאן לי.