Jean Castex kommer fra en katolsk bakgrunn. Hans bestefar Marc Castex var senator, og en annen slektning var akademikeren professor Pierre-Georges Castex.