Jean Sylvain Bailly var sønn av Jacques Bailly, en maler og oppsynsmann tilknyttet Louvre, og var sønnesønn av Nicholas Bailly, også kunstner og hoffmaler. Han drev selv først maleri og dikterkunst. Han vendte seg imidlertid snart til vitenskapene og ble vunnet for astronomien av astronomen Nicolas Louis de Lacaille. Han var en utmerket student med et «særlig god hukommelse og uuttømmelig tålmodighet», Etter farens død fikk han stilling som oppsynsmann for Luxemburggalleriet.