Henri de La Croix de Castries ble født den 15. august 1954 i Bayonne. Hans far er François de La Croix de Castries som hadde en militær karriere i Korea, Indokina og Algerie. Hans morfar, Pierre de Chevigné, var oberst i de frie franske styrker.