Born in Paris, Bailly was the son of Jacques Bailly, an artist and supervisor of the Louvre, and the grandson of Nicholas Bailly, also an artist and court painter.
Sinh ra ở Paris, Bailly là con của Jacques Bailly, một nghệ sĩ và giám sát của Louvre, và cháu nội của Nicholas Bailly, cũng là một họa sĩ và họa sĩ tòa án.