Xavier Dor kom fra en borgerlig og velstående familie. Faren var direktør for Compagnie générale transatlantique på Cuba. Han var tradisjonalistisk katolikk og stod nær Fraternité sacerdotale Saint-Pie-X ().