Ed Lee var av kinesisk herkomst; hans foreldre var innvandret fra Taishan i det sørlige Kina. Lees far, Gok Suey Lee, kjempet i Koreakrigen, var kokk, og drev en restaurant i Seattle Han døde da Lee var 15. Moren var syerske og servitrise.