Su familia volvió a Francia después del Edicto de Saint-Germain en 1562 y se estableció en Crest, en el Delfinado, donde Arnaud Casaubon, padre de Isaac, se convirtió en ministro de una congregación hugonote.