Un bisabuelo de Lafayette (el abuelo paterno de su madre) fue el (conde) Comte de la Rivière, que hasta su muerte en 1770 fue comandante de los Mosqueteros de la Guardia, o Mosqueteros Negros, la guardia personal del rey Luis XV.