Hijo del marqués de La Rochejaquelein, Henri Louis Auguste de Vergier (1749-1802), y de Constance de Caumont d’Ade (1749-1798), casados en 1769. Fue el segundo de los siete retoños que tuvo el matrimonio y el mayor de los tres varones. Nació en el castillo Durbelière, cerca de Mauleón, entonces llamado "Saint-Aubin-de-Baubigné", en 1772. Se educó en la escuela militar de Sorèze. Cuando estalló la Revolución francesa siguió a su padre al exilio, pero volvió para enrolarse en la "Garde constitutionnelle du Roi", «Guardia Constitucional del Rey», en 1791, participando como teniente segundo en la defensa del Palacio de las Tullerías.