Родился в семье французских аристократов Жильбера дю Мотье, маркиза де Лафайета и Адриенны де Лафайет, дочери 5-ого герцога де Ноай. Отец — герой Войны за независимость США — назвал сына в честь своего друга Джорджа Вашингтона. Мальчик рос во Франции, однако после событий сентября 1792 года был вынужден скрываться, и в 1795 году был переправлен в США. Учился в Гарварде и некоторое время жил в семье Джорджа Вашингтона.