Nel gennaio 2008 si trasferisce proprio al Chelsea per una cifra pari a 12 milioni di euro. A Londra, tuttavia, nei primi sei mesi non scende mai in campo e, al termine della stagione, manifesta la volontà di essere ceduto. Il 24 settembre 2008, più di 8 mesi dopo il suo arrivo al Chelsea, Ivanović ha disputato la prima partita con i "Blues" a Fratton Park contro il Portsmouth in Carling Cup (4-0). Ha invece esordito in Premier League il 5 ottobre 2008 a Stamford Bridge contro l'Aston Villa (2-0) Il 26 novembre 2008 ha esordito in Champions League nella partita della quinta giornata della fase a gironi in casa del Bordeaux (1-1). L'8 aprile 2009, invece, ha realizzato le prime reti nella massima competizione europea per club, segnando una doppietta con due colpi di testa su calcio d'angolo nei quarti di finale ad Anfield contro il Liverpool, ribaltando l'1-0 iniziale dei "Reds" (finale 3-1 per il Chelsea). Un mese più tardi si è aggiudicato la FA Cup.Negli ottavi di finale di UEFA Champions League 2011-2012 contro il Napoli il difensore, che ha giocato la serata da terzino, ha contribuito alla rimonta dei Blues (che all'andata avevano perso 3-1 al San Paolo), che si impongono a Stamford Bridge 4-1, con il gol finale dello stesso Ivanovic. Il 21 aprile 2013 durante la partita Liverpool-Chelsea viene morso ad un braccio dal suo avversario uruguaiano Luis Suarez che poi riceverà 10 giornate di squalifica. Il 15 maggio sigla al 92º minuto della finale di Europa League, contro il , il gol vittoria, segnando di testa sugli sviluppi dell'azione di un calcio d'angolo, che fissa il risultato sull'1-2 e consegna la coppa al Chelsea. Il 17 febbraio 2015 è autore del primo gol nella sfida di andata degli ottavi di finale della UEFA Champions League 2014-2015 giocata a Parigi contro il Paris Saint Germain, partita conclusasi sull'1-1.