Kielholz speelde tussen 1933 en 1938 voor Zwitserland, hij speelde in totaal 17 interlands waarin hij twaalf keer kon scoren. Hij nam met zijn land deel aan het WK 1934 en aan het WK 1938.