Mulumba kwam uit voor diverse Franse nationale jeugdelftallen. Hij behaalde onder meer vier caps voor Frankrijk –20. Desondanks koos hij in 2015 voor Congo-Kinshasa, waarmee hij in 2017 deelnam aan de Afrika Cup.