Mit dem Tennisspielen begann Ivanović als Fünfjährige, nachdem sie im Fernsehen Monica Seles spielen gesehen hatte. Ihre Mutter Dragana (Anwältin) und ihr Vater Miroslav (Geschäftsmann) meldeten sie daraufhin in einer Tennisschule an. Während der Bombardierungen Jugoslawiens durch die NATO 1999 trainierte sie in einem umgebauten Schwimmbad im Belgrader Sportcenter. Mit 14 Jahren zog sie mit ihrer Mutter wegen der besseren Trainingsbedingungen in die Schweiz. Der Basler Geschäftsmann Dan Holzmann wurde ihr Manager. Ivanović hatte zunächst keinen ständigen Trainer, sie arbeitete unter anderem mit Sven Groeneveld zusammen.