Faye speelde in Frankrijk voor clubs als AS Monaco (jeugd), ES Fréjus en AJ Auxerre. Met Auxerre won de middenvelder de Coupe de France in 2003, zijn laatste wedstrijd voor de club. Hij speelde mee in de finale tegen het Paris Saint-Germain van Ronaldinho. Auxerre won met 1–2 na goals van Djibril Cissé en Jean-Alain Boumsong. In Engeland speelde Faye voor Portsmouth (2003–2005) , Newcastle United (2005–2006) en Stoke City (2008–2010) op het hoogste niveau, de Premier League. Ook met Charlton Athletic was hij actief in de Premier League (2006–2007), maar Charlton verhuurde Faye aan Glasgow Rangers voor het seizoen 2007–2008. Hij speelde maar weinig bij de Schotse topclub. Zo was hij negentig minuten bankzitter bij de door Rangers met 2–0 verloren finale van de &lt;a href="UEFA%20Cup%202007/08"&gt;UEFA Cup 2007/08&lt;/a&gt; tegen het Russische Zenit Sint-Petersburg. Faye beëindigde zijn loopbaan in 2011 na een korte periode bij Football League Championship-club Leeds United AFC.