Charles Marie Ferdinand Walsin Esterhazy ble født i Ungarn, sønn av general Ferdinand Walsin Esterhazy som utmerket seg under Krimkrigen. Faren ble født utenfor ekteskap og vokste opp med navnet Walsin, men ble akseptert av moren etter februarrevolusjonen i 1848.