Его семья являлась представителями дворянства шпаги — родовая знать рыцарского происхождения. Получил имя в честь своего знаменитого предка — маршала Франции , соратника легендарной Жанны д’Арк и ближайшего советника короля Карла VII. Отец Жильбера — гренадерский полковник и кавалер ордена Святого Людовика Мишель Луи Кристоф дю Мотье, маркиз де Ла Файет во время Семилетней войны погиб в сражении при Хастенбеке, по другим данным — при Миндене.