Castries nam op 19-jarige leeftijd dienst in het Franse leger. Hij werd naar de cavalerieopleiding in Saumur gestuurd en behaalde de graad van officier (1926) maar nam ontslag om zich toe te leggen op de paardensport. Nadat hij aan het begin van de Tweede Wereldoorlog weer in dienst was getreden, werd hij gevangengenomen (1940). Hij wist in 1941 te ontsnappen uit een Duits krijgsgevangenkamp en vocht vervolgens met de geallieerden tijdens de Veldtocht in Noord-Afrika, de Italiaanse Veldtocht, Operatie Dragoon (in Zuid-Frankrijk) en tijdens de bevrijding van Zuid-Duitsland en het Zwarte Woud.