Ivanovićin äiti oli serbian kielen ja kirjallisuuden opettaja ja hänen isänsä oli historianopettaja. Ivanović opiskeli insinööriksi ja erikoistui mekaniikkaan. Sen jälkeen hän toimi urheilun johtotehtävissä ja kilpaili ammattilaisena karatessa. Vuonna 1999 Ivanović ryhtyi poliitikoksi, kun hänet nimitettiin Kosovon sodan aikana serbien kansallisen neuvoston johtoon.