W reprezentacji Demokratycznej Republiki Konga Mulumbu zadebiutował 26 marca 2008 roku w zremisowanym 1:1 towarzyskim meczu z Algierią. Następnie zaczął występować z kadrą narodową w eliminacjach do MŚ 2010 oraz PNA 2010.