Con la selección alemana, Kaltz jugó un total de 69 partidos, anotando 8 goles y dando 10 asistencias. Su debut se produjo de la mano de Helmut Schön, quien le convocó para jugar su primer partido el 3 de septiembre de 1975 en el Praterstadion, actual Estadio Ernst Happel, ante la selección austriaca, en la posición de lateral derecho titular. Disputó dos Eurocopas, primero la Eurocopa 1976 en Yugoslavia, donde fue suplente y Alemania quedó segunda detrás de Checoslovaquia. Luego disputó la Eurocopa 1980 en Italia, ya de titular y se consagró campeón. Disputó 2 copas del mundo, primero en Argentina 1978, donde jugó los 6 partidos de Alemania y la Copa Mundial de Fútbol España 1982, jugando los 7 partidos y siendo uno de los baluartes del equipo teutón, que quedó subcampeón del mundo ante Italia.