Charette wurde als Sohn von Hélion Marie Joseph Christian, Baron de Charette de La Contrie (1906–1983) und seiner ersten Ehefrau Jeanne Girauld de Nolhac (1908–1954) in eine Aristokratenfamilie hineingeboren. Er ist Nachfahre des königlichen Militärführers François Athanase de Charette de la Contrie, einem der royalistischen Offiziere und Anführer des Bauernaufstandes in der Vendée, der 1796 von den Anhängern der Ersten Republik gefangen genommen und erschossen wurde.