В сборной Швейцарии Кильхольц дебютировал в ноябре 1933 года. А через год поехал на чемпионат мира, где на 7-й минуте матча с Нидерландами забил первый гол швейцарцев в истории мундиалей, а всего на том турнире забил 3 гола. С 1933 по 1935 год Кильхольц играл за Швейцарию в кубке Центральной Европы, где забил 7 голов в 5-ти играх, три из которых в ворота Венгрии. В 1938 году Кильхольц поехал на чемпионат мира, но на поле ни разу не вышел. Свой последний матч за сборную Кильхольц провёл в мае 1938 года против Бельгии.