Bally se casó en tres ocasiones, con Valentine Leirens, Irma Baptistine Doutre, internada en una institución psiquiátrica en 1915 y, finalmente con Alice Bellicot.