Som ung spiller spilte Dibba for Hammarby IF, FOC Farsta og Enskede IK. Han spilte førstelagsfotball for Brandbergens IF fra 2006. Dibba var med på å spille laget opp fra nivå ni i svensk fotball, til nivå fem. I 2011 prøvespilte Dibba for Hammarby IFs farmerlag, Hammarby Talang FF. De var interessert i spilleren, men hadde ikke plass i troppen.