Il 28 febbraio 2011 viene scelto alla guida del Palermo, dal presidente Maurizio Zamparini, come il sostituto di Delio Rossi, quest'ultimo esonerato all'indomani della sconfitta casalinga per 7-0 contro l'Udinese. Con Cosmi arrivano in Sicilia anche i suoi collaboratori Mario Palazzi e Francesco Bulletti, tutti con un contratto fino al termine della stagione. Esordisce sulla panchina rosanero in -Palermo (2-0) della 28ª giornata del torneo di Serie A, con la prima vittoria che arriva alla 30ª giornata, disputata il 19 marzo e vinta per 1-0 sul . La sua esperienza al Palermo è durata soltanto quattro partite: il 3 aprile 2011, a poche ore dalla sconfitta nel derby contro il (4-0 per mano dei rossoazzurri), viene sollevato dall'incarico, con Rossi che viene richiamato, chiudendo l'esperienza in rosanero con una vittoria e tre sconfitte.