Il 28 febbraio 2011, dopo la sconfitta interna per 7-0 contro l'Udinese, è esonerato dalla guida tecnica del Palermo, e sostituito con Serse Cosmi; il rapporto con Zamparini era già logoro da tempo. In termini statistici Rossi è stato l'allenatore più vincente nella storia del Palermo, con il record di 65 punti, quello delle 18 vittorie e delle 9 sconfitte e quello delle 59 reti realizzate, con un quinto posto a due punti dalla qualificazione in Champions League. Lascia la squadra all'ottavo posto in campionato e con la semifinale di Coppa Italia da disputare, dopo aver subito l'eliminazione dall'Europa League nella fase a gironi. È riuscito inoltre a creare un ottimo rapporto con la tifoseria.