Madjer dispute deux Coupes du monde avec l'Algérie. En 1982, l'attaquant est titulaire lors des trois matches disputés par sa sélection au premier tour. Il ouvre la marque lors de la rencontre opposant l'Algérie à l'Allemagne de l'Ouest, match remporté par les sur le score de 2-1. Pour sa première participation, l'Algérie est éliminée à la différence de buts. Madjer est également titulaire en 1986, il dispute les trois matches du premier tour. Madjer prend part à la Coupe d'Afrique des nations 1990, organisée en Algérie. Il est nommé capitaine de l'équipe d'Algérie, qui remporte le tournoi en battant le Nigeria en finale. Il est élu meilleur joueur du tournoi.