Ba merupakan anak keenam dari tujuh orang bersaudara yang lahir di Sèvres, Hauts-de-Seine. Ia menghabiskan masa kecilnya di Saint-Valery-en-Caux, Seine-Maritime. Ba bergabung ke sebuah klub junior di Montgaillard pada tahun 1992, kemudian bermain untuk Port Autonome antara tahun 1999 dan 2000 dan Frileuse antara tahun 2000 dan 2001.