Til tross for de hyppige trenerskiftene, fortsatte Olympiakos å vinne hjemlige titler. Men både sesongen 2001/2002 og 2002/2003 ble vunnet på målforskjell. Året etter var det derimot slutt på at marginene tippet i Olympiakos sin favør, og det ble hovedrivalen fra «Leoforos», Panathinaikos, som tok hjem seriegullet. Dette gjorde at president Kokkalis måtte på sommerhandel, og det førte til at den tidligere verdenseneren Rivaldo ankom til klubben. Rivaldo skapte et fryktet par sammen med bestekameraten Giovanni, og de to skjøt til sammen Olympiakos til både cup og seriegull. I Champions League var også klubben svært nære på å ta seg videre fra gruppespillet, men tapte 3-1 på Anfield mot Liverpool. Etter sesongen trakk Dusan Bajevic seg igjen som trener for klubben, og det samme gjorde yndlingen Giovanni.