Rossi startet karrieren i Raja Casablanca. Han signerte for den franske fotballklubben Stade Rennais. Etter over førti kamper i franske Ligue 1, gikk Rossi til NEC Nijmegen i en låneavtale. Han spilte bare fire klubber for den nederlandske klubben, før han gikk til Scottish Premier League-klubben Dunfermline Athletic i 2000, i en overgang verd 200 000 £.