Ivanović y su esposa Nataša, a la que conocía desde su infancia en un vecindario de Sremska Mitrovica, contrajeron matrimonio en enero de 2008 y tienen un hijo llamada Stefan, quien nació en julio de 2008.