Mentre è diventato famoso nei paesi limitrofi alla Grecia solo nei tardi anni novanta, Rouvas ha ottenuto celebrità internazionale nel 2001, tramite la sua collaborazione con il produttore discografico Desmond Child. Il suo brano internazionalmente più conosciuto è senz'altro "Shake It", con il quale ha partecipato, e si è piazzato al terzo posto all'Eurovision Song Contest 2004. Nel 2006 ha inoltre condotto la manifestazione ad Atene. Nello stesso anno ha doppiato Saetta McQueen nella versione greca del film della Disney Pixar "Cars - Motori ruggenti". Nel 2005 Rouvas ha vinto il "World Music Award" come "artista greco dalle migliori vendite nel mondo", diventando l'unico artista greco che vive a lavora in patria ad ottenere tale riconoscimento. Dal 2008 è il conduttore della versione greca del talent show "X-Factor".