Materazzi tilbrakte sine første sesonger i lavere divisjoner i italiensk fotball. Etter noen sesonger i Perugia Calcio, (hvor han debuterte mot Inter 2. februar 1997), tilbrakte han en sesong i Everton FC, der han ble utvist tre ganger i løpet av 27 kamper. Han dro deretter tilbake til Perugia, som i mellomtiden hadde rykket opp til Serie A, og scoret hele 12 mål for klubben i sesongen 2000/01, italiensk rekord for en forsvarer. Etter denne sesongen skrev han under for Inter.