Ivanović tiene un hermano menor, Milos, con el que le encanta jugar al baloncesto, aunque tras el tenis se confiesa aficionada al fútbol y seguidora del Partizan de Belgrado.