Emmanuel Bénézit var sønn av Charles Bénézit og Euphrasie Boulanger. Han ble født i Jersey under foreldrenes landsflyktighet på grunn av Napoleon IIIs politikk. Faren hans var politisk motstander av regimet, og hadde søkt tilflukt på den britiske øya samtidig med sin nære venn Victor Hugo, ifølge vitnesbyrd fra maleren Auguste Vacquerie.