Louis Léopold Robert kom fra en fransktalende sveitsisk protestantisk håndfamilie. Faren var urmaker og montør.