Etter skilegang opp til det videregåande nivå i hjembyen Carcassonne forberedte han seg til opptaksprøvene ved elitehøyskolene École polytechnique i Paris og École normale supérieure i Toulouse. Sabatier kom inn ved begge, og valge den siste. Han begynte ved École normale supérieure i 1874 og gikk ut i 1877 med beste resultat i klassen.