Kempf wurde fünfmal in der U16-Nationalmannschaft eingesetzt. Er spielte sowohl für die U17-Nationalmannschaft, mit der er im Sommer 2012 an der U17-Europameisterschaft in Slowenien teilnahm, als auch für die U18-Nationalmannschaft. Seit 2013 spielt er für die U19-Nationalmannschaft und gewann mit dieser die U19-Europameisterschaft 2014 in Ungarn. Sein Debüt für die U20-Nationalmannschaft gab er am 3. September 2014 bei der 0:1-Niederlage gegen Italien. Bei der U21-EM 2017 in Polen kam Kempf in jedem Spiel über die volle Spieldauer zum Einsatz und gewann mit der deutschen U21 den Titel. Beim 3:0-Sieg im Gruppenspiel gegen Dänemark am 21. Juni 2017 erzielte er sein erstes Tor für die U21.