La Fayette tilhørte en høgtstående adelig slekt i Auvergne. Faren var offiser og falt ved slaget ved Minden i 1759. Mora døde i 1770. 16 år gammel gifta han seg med Marie Adrienne Francoise de Noailles, som tilhørte en av Frankrikes mest innflytelsesrike adelige familier. I likhet med faren valgte La Fayette en militær karriere.