Edmond Fischer ble født i Shanghai International Settlement i Kina. Hans mor, Renée Tapernoux, ble født i Frankrike, og faren, Oscar Fischer, ble født i Østerrike. Faren praktiserte som advokat i Shanghai ved de forskjellige konsulære domstoler i byen. Fischers bestefar til moren grunnla i Shanghai, den første avisen som ble utgitt på fransk i Kina; han var også med på å etablere i Shanghai, og der gikk Fischer på barneskolen.