I Stockholm dannet Mohombi og hans bror, Djo Moupondo, bandet Group Avalon, som spilte en kombinasjon av dancehall og hip-hop med innslag av elementer fra afrikansk musikk. Fra 2004 til 2008 solgte bandet mer enn en halv million poster. I 2005 deltok Group Avalon i Melodifestivalen i Linköping. Bidraget deres het og hadde tekst på både engelsk og fransk, med en intro på lingala. De kom på sjetteplass i delfinalen. I 2007 lanserte de albumet Afro-Viking.