Celestini startede sin seniorkarriere hos Lausanne-Sport i hjemlandet, men skiftede i 2000 til fransk fodbold, hvor han havde ophold hos først Troyes og siden Olympique Marseille. Han var en del af det Marseille-hold, der i 2004 nåede finalen i UEFA Cuppen, der blev tabt til spanske Valencia.