Jean Sandherr var født i Mulhouse som den gang var fransk, og som også var hjembyen til familien Dreyfus. Han var sønn av en notar ved Mulhouses handelsrett, og gikk inn i det franske infanteri via militærakademiet Saint-Cyr.