Charles Bally era hijo de Jean Gabriel Bally, un profesor y Henriette, quien regentaba una tienda de ropa.