Fermat ble født i Beaumont-de-Lomagne i Frankrike, hvor faren var en velstående kjøpmann. Han hadde en bror og to søstre. Det er lite som er kjent vedrørende Fermats skolegang, men det hersker stor enighet om at han må ha gått på skole ved et lokalt fransiskaner-kloster.