Silvestre de Sacy mistet sin far allerede i barneårene. Moren gav ham en religiøs oppdragelse, og han viste stort språktalent. Benediktinermunken dom George François Berthereau underviste ham i hebraisk og i en alder av tolv år kunne han lese de bibelske salmer på originalspråket. Etter hebraisk fulgte raskt en rekke andre språk, tildels ved selvstudium: syrisk, samaritansk, kaldeisk, og med særlig grundighet arabisk, persisk og tyrkisk, og de moderne vestlige språk engelsk, tysk, italiensk og spansk.