Sua carreira na Seleção Alemã começou quando o treinador Helmut Schön procurava reservas para Sepp Maier e a boa forma do jovem Kargus no Hamburgo chamou a atenção. Quatro dias antes do Natal de 1975, Kargus foi escolhido para representar a Alemanha Ocidental em um amistoso contra a Turquia, ele foi bem e foi convocado para a Eurocopa de 1976, servindo como reserva de Sepp Maier. Ele também participou da Copa do Mundo da FIFA de 1978 também como reserva de Sepp Maier.