Дестют де Траси принадлежал к дворянскому роду, ведущему начало от рыцаря Уолтера Стюта, младшего сына шотландского графа, прибывшего во Францию в 1420 году для службы в шотландской гвардии Карла VII и за военные заслуги пожалованного графством Ассей в Берри. К середине XVIII века дом Дестютов (варианты написания: Де Стюты, д’Эстюты) имел три ветви: графов д’Ассей, маркизов де Солминьяк, маркизов де Траси. Ветви де Траси принадлежали два замка с прилегающими землями: Траси в долине Луары и Парей-ле-Фрезиль в Бурбонне. В замке Парей-ле-Фрезиль де Траси родился и провёл значительную часть детства, а затем часто туда возвращался. Все его предки по отцовской линии на протяжении многих поколений были профессиональными военными. Отец будущего философа, участник многих сражений Семилетней войны, командир Фламандской конной гвардии (фр. "gendarmes de Flandres") бригадный генерал (фр. устар. "maréchal de camp") Клод-Луи-Шарль Дестют, маркиз де Траси, умер в 1762 году в возрасте 39 лет от последствий тяжёлых ранений, полученных в битве при Миндене. Мать Антуана Мари-Эмили, урождённая де Верзюр, происходила из семьи, имевшей итальянские корни и принадлежавшей к дворянству мантии, была хорошо образована, в парижском особняке своего мужа создала светский салон, где собирались старшие офицеры и генералы, дипломаты, епископы и кардиналы.