Milne-Edwards var det 27. barnet til sin engelske far William Edwards og en fransk mor, Elisabeth Vaux. Han ble født i Brugge, nå i Belgia, men da en del av den franske republikken. Hans far satt i fengsel i flere år for å ha hjulpet noen engelskmenn i å flykte til sitt eget land. Sønnen Henri tilbrakte det meste av sitt liv i Frankrike. Han vokste opp i Paris hos sin eldre bror William Edwards, som var fysiolog. Ved Napoleons fall ble faren løslatt og hele familien flyttet til Paris.