Han var sønn av magistratspresident i Kristiansand Peder Sørensen Balle og Inger Andersdatter Tydsch. Balle var gift med Louise Topdal (1709-1745), datter av Peder Clausen Topdal.