W reprezentacji Zambii Chilumba zadebiutował w 1993 roku. W 1994 roku został powołany do kadry na Puchar Narodów Afryki 1994. Na nim wywalczył z Zambią wicemistrzostwo Afryki. Rozegrał na nim cztery mecze: ze Sierra Leone (0:0), z Wybrzeżem Kości Słoniowej (1:0), w ćwierćfinale z Senegalem (1:0) i w półfinale z Mali (4:0).