Etter å ha vært innom juniorlagene til Port Autonome du Havre, Frileuse, Montrouge, Lura og Watford, signerte Ba en ettårsavtale med den franske klubben Rouen, og nøt et suksessrikt år i Normandie. Mouscron vant kampen om Bas signatur i 2006, og etter en god start på karrieren i Belgia, hvor han scoret i sine tre første kamper, ble han skadet og var ute med skade mellom august 2006 og april 2007. Etter å ha kommet tilbake fra skade, fortsatte Ba der han hadde sluppet og scoret syv mål på ni kamper.