В 1801 году территория, на которой сейчас находится Лафайет-сквер, использовалась для строительства Белого дома. В 1804 году при президенте США Томасе Джефферсоне она была отделена от сада построенной резиденции. Образовавшийся парк использовался в качестве поля для скачек, зоопарка, кладбища, невольничьего рынка, лагеря для солдат в период войны 1812 года, а также стал местом политических протестов и торжеств. В 1821 году архитектор начал реализацию проекта по облагораживанию данной местности как части . В 1824 году сквер был назван в честь первого иностранного гостя Белого дома — маркиза Жильбера Лафайета — французского участника войны за независимость США, совершавшего турне по США. Тогда же в окрестностях парка стали селиться многие известные политические деятели, включая Уильяма Сьюарда, Джона Кэлхуна, Мартина ван Бюрена, Джона Хэя, Генри Адамса. В 1851 году Лафайет-сквер был благоустроен по плану архитектора Эндрю Джексона Даунинга в живописном стиле.