Casaubon syntyi Genevessä pakolaisena olleeseen hugenottiperheeseen. Nantesin ediktin julistamisen jälkeen perhe muutti takaisin Ranskaan. Casaubonin kerrotaan saaneen ensimmäiset klassisen kreikan oppituntinsa Dauphinén vuorilla olleessa luolassa, jossa perhe oli paossa Pärttylinyön verilöylyn jälkeen. Myöhemmin hän opiskeli Genevessä.