Чилумба дебютировал в сборной Замбии в 1993 году. В 1994 году он был вызван а команду на Кубок африканских наций 1994 года. Замбия заняла второе место. Он сыграл четыре матча на турнире: против Сьерра-Леоне (0:0), Кот-д’Ивуара (1:0) в четвертьфинале против Сенегала (1:0) и в полуфинале против Мали (4:0).