Hermites familie stammet fra Marseille og Santo Domingo. Slik tilfellet ofte har vært med store matematikere, viste det seg tidlig at Hermite hadde en uvanlig matematisk begavelse. Allerede mens han gikk på skolen i Paris syslet han med studier av de klassiske mesternes arbeider på fritiden. Han har selv fortalt at Niels Henrik Abels skrifter gjorde et så dypt inntrykk på ham at han allerede i tidlig skolealder besluttet seg for å vie livet sitt til matematiske studier. Han begynte å studere ved École polytechnique, men allerede etter et år avbrøt han studiene for å bruke all sin tid på matematikken.