Mulumbu spelade för Frankrikes juniorlandslag (U20 och U21). Därefter valde han att representera DR Kongo. Han var med i Kongos trupp vid Afrikanska mästerskapet 2013.