Says Herkunft lässt sich auf David Say, einen Schneidermeister aus Nîmes (17. Jahrhundert), zurückverfolgen. Dieser hatte sechs Kinder; eines dieser war Robert Say (* 1614), der wiederum Vater von Louis Say war, einem Tuchhändler in Nîmes. Aufgrund seiner Zugehörigkeit zur protestantischen Religion sah dieser sich gezwungen nach Genf zu fliehen. Von hier aus lassen sich drei Linien weiterverfolgen: Samuel Say († 1743 in London), Benjamin Say (Arzt in Philadelphia, Teilnehmer am Amerikanischen Unabhängigkeitskrieg) sowie Jean-Estienne Say (* 1739) in Genf. Dieser ging zur Ausbildung im Textilgewerbe nach Lyon, wo er die Tochter des Kaufmanns M. Castanet, Françoise Castanet, heiratete. Am 5. Januar 1767 geht Jean-Baptiste Say aus der Ehe hervor. Jean-Baptiste hatte zwei Brüder: Horace Say wurde Ingenieur und Soldat; er starb 1799 während der ägyptischen Expedition. Louis Say wurde Kaufmann für Zucker in Nantes; auch er veröffentlichte einige – seinem Bruder gegenüber nicht unkritische – wirtschaftspolitische Schriften.