Era originario de Gascuña, donde su padre, Dominique Fermat (un acaudalado mercader de cuero) sirvió durante tres períodos de un año como uno de los cuatro cónsules de Beaumont-de-Lomagne.