Ivanović begynte karrieren i FK Srem før han gikk til OFK Beograd i 2003. Etter tre år i den øverste, serbiske divisjonen signerte han for Lokomotiv Moskva i 2006.