Nell'estate 2001 viene acquistato dall'Inter, disputando la prima gara proprio contro la sua ex formazione. Alla seconda presenza, segna poi un gol in casa del Parma che non è sufficiente ai nerazzurri per ottenere la vittoria. Pur rendendosi protagonisti di una buona stagione i milanesi non colgono alcun trofeo, venendo eliminati nelle semifinali di Coppa UEFA e fallendo l'appuntamento con lo scudetto nella domenica conclusiva. Giunta al traguardo da capolista, l'Inter cade sul campo della Lazio perdendo il primato a favore della Juventus: nella circostanza Materazzi è coinvolto in un fatto controverso, quando al termine dell'incontro una veemente discussione tra i calciatori delle due squadre rischia di sfociare nello scontro fisico. Le telecamere ripresero inoltre il labiale del difensore mentre rammentava al laziale Nesta la vittoria del titolo da parte dei romani nel 2000, compiuta grazie anche all'affermazione dei perugini contro la Juventus. Ulteriori polemiche sorsero con Antonio Conte, all'epoca centrocampista dei bianconeri. Durante la stagione successiva i meneghini si arresero nuovamente sul filo di lana, cedendo contro i rivali del Milan in semifinale di Champions League — a causa dei gol in trasferta — e terminando il campionato dietro la Juventus.