Xavier Vallat vokste opp i en konservativ, katolsk familie, og sluttet seg i sin ungdom til Action française. Han ble såret under første verdenskrig, og mistet venstre ben og høyre øye. Vallat ble i 1919 medlem av Frankrikes nasjonalforsamling, hvor han satt fram til 1924, samt fra 1928 til 1940. Fra 1936 av satt han som representant for det høyrerepublikanske og republikanske Fédération républicaine.