Baudot ble født i Magneux, Haute-Marne i Frankrike som sønn av bonden og den senere ordføreren i Magneux, Pierre Emilie Baudot. Baudots eneste formelle utdannelse var grunnskole. Deretter arbeidet han som landbruker på sin fars gård, før han fikk ansettelse i det franske post og telegrafadministrasjonen som telegrafaspirant i 1869.