Sidibe startet sin karriere i franske CA Paris, før han ble kjøpt av Swansea City den 25. august 2001. Der gjorde han 8 mål på 35 kamper, før han ble solgt til Gillingham, der han scoret 13 mål på 115 kamper.