Su ancestro Gilbert de Lafayette III, Mariscal de Francia, era un compañero de armas que en 1429 capitaneó al ejército de Juana de Arco en Orléans.