Castries gikk inn i den franske hæren 19 år gammel og ble i 1926 offiser. Han sluttet noe senere for å satse på hestesport. Ved utbruddet av andre verdenskrig gikk han inn i hæren igjen, han ble tatt til fange av de tyske styrkene i 1940, men lyktes å flykte fra krigsfangeleiren i 1941. Han kjempet senere med de allierte styrkene i Nord-Afrika, Italia og det sørlige Frankrike.