Rodil se je v Ženevi dvema francoskima beguncema, ki sta bila hugenota, tj. francoska kalvinista. Družina se je leta 1562 vrnila v Francijo po Saint-Germainskem ediktu in se nastanila na Crestu v Daufineji, kjer je Arnaud Casaubon, Isaacov oče, postal pridigar tamkajšnje hugenotske kongregacije. Do svojega devetnajstega leta Isaac ni imel druge izobrazbe, razen tiste, ki mu jo je dal oče. Arnaud je bil dolgo časa odsoten od doma in družina je redno bežala v hribe, kjer se je skrivala pred katoliškimi milicami. V jami v gorah Dauphije, po pokolu na Šentjernejsko noč, je Isaac dobil svojo prvo lekcijo iz grščine, in sicer iz Izokratvega govora "Ad Demonicum".