Olympiakos sportsdirektør Ilija Ivic ønsket sin tidligere lagkamerat fra det serbiske landslaget med til Pireus, og ga Kovačević et kontraktsforslag. Noen dager senere signerte Kovačević. Hans første sesong i Hellas' største fotballklubb ble suksessfull, og Kovačević lå lenge an til å bli toppscorer i den greske superligaen. Også i Champions League scoret han tre mål, og var høyst delaktig i at klubben tok seg videre i turneringen. I februar 2008 signerte han en kontrakt som vil holde han i den greske havnebyen ut neste sesong. Da er planene at han skal avslutte karrieren i Serbia.