Fermat var mer opptatt av de matematiske problemene i forskjellige fysiske sammenhenger enn av selve fysikken. Et eksempel var hans interesse for legemers fall i tyngdefeltet inspirert av arbeidene til Galileo Galilei. Men da Descartes i 1637 la frem sin forklaring av Snells brytningslov, reagerte han kritisk og mente at argumentene som ble brukt, ikke var holdbare. Omtrent tyve år senere kom han tilbake til dette optiske problemet og foreslo en ny løsning som siden er blitt kalt Fermats prinsipp. Det sier at lys alltid beveger seg slik at det bruker kortest mulig tid til å nå frem.