Ed Lee hadde fem søsken. Han gikk på Bowdoin College i delstaten Maine og studerte etter sin eksamen i 1974 videre ved på University of California, Berkeley. I 1978 tok han slutteksamen derfra.