Nel 2003 Chivu viene ingaggiato dalla per 18 milioni di euro. Nella prima stagione nella squadra giallorossa, Chivu si esprime ad altissimi livelli, e crea col compagno di reparto Walter Samuel un'ottima intesa tanto che, a fine campionato, la difesa della Roma risulta essere la meno battuta del torneo; tuttavia, la Roma non riesce a vincere il campionato ed arriva seconda dietro al . All'inizio della stagione 2004-2005 il difensore rumeno si infortuna e rimane fuori dal campo di gioco fino a primavera. Nelle due successive stagioni fa coppia con Philippe Mexès e vince una Coppa Italia. Durante la sua militanza giallorossa, è stato spesso soprannominato "Swarovski" o "Cristal Chivu", a causa della sua fragilità muscolare.