Fayes erste Station war in Frankreich beim AJ Auxerre. Während seiner Zeit bei Auxerre wurde er in die Nationalmannschaft Senegals berufen, die Senegal bei der Weltmeisterschaft 2002 in Südkorea und Japan vertrat. 2003 wechselte er schließlich nach England zum gerade aufgestiegenen FC Portsmouth. Dort blieb er zwei Jahre und kam auf 47 Spiele. 2005 wechselte er zum Ligakonkurrenten Newcastle United, allerdings blieb er hier nur ein Jahr und wurde anschließend innerhalb der Premier League von Charlton Athletic verpflichtet. Im Jahr 2007 wurde er von den Glasgow Rangers ausgeliehen.