Батько Жильбера був гренадерським полковником, кавалером ордену Св. Людовіка, маркіз де Лафаєт помер під час Семирічної війни у битві при Хастенбеку () 26 липня 1757 року.