År 2004 blev Rouvas uttagen för att representera Grekland under Eurovision Song Contest 2004 i Istanbul med låten "Shake it", som är skriven av Nikos Terzis. Han slutade på en tredje plats, vilket 2004 var den bästa placeringen ett grekiskt bidrag någonsin fått.