Anh bắt đầu sự nghiệp tại các câu lạc bộ Serbia Remont, FK Srem và OFK Beograd, trước khi chuyển đến Nga thi đấu cho Lokomotiv Moskva. Sau hai năm tại Nga, anh chuyển đến Chelsea. Ở vị trí hậu vệ phải, trong mùa bóng 2009-2010, anh là một nhân tố quan trọng giúp cho đội vô địch Cúp FA. Năm 2012, Ivanović cùng Chelsea vô địch UEFA Champions League 2011-12 tuy anh bị treo giò trong trận chung kết. Một năm sau đó, anh ghi bàn thắng muộn ở phút bù giờ hiệp hai giúp Chelsea thắng Benfica 2-1, giành chức vô địch UEFA Europa League đầu tiên trong lịch sử đội bóng.