Balling giftet seg to ganger; første gang i Danmark i 1852 med Marie Rantzau, som døde to år senere. Han inngikk nytt ekteskap i New York i 1857 med Christine Zündorff, en tysk kvinne.