El padre de Lafayette, Michel de Lafayette, murió el 1 de agosto de 1759 al ser golpeado por una bala de cañón mientras peleaba contra la coalición liderada por los británicos en la Batalla de Minden en Westfalia. Lafayette se convirtió en marqués y Señor de Chavaniac, pero los bienes le fueron otorgados a su madre hasta su mayoría de edad. Devastada por la muerte de su esposo, se fue a vivir a París con su padre y abuelo. Lafayette fue criado por su abuela materna, Mme de Chavaniac, quien trajo el sentimiento de un hogar a la familia con sus dotes.