El 16 de mayo de 2012, Kempf disputó en Liubliana la final del Campeonato Europeo de la UEFA Sub-17 ante la selección de los Países Bajos; permaneció en el banco de suplentes hasta el minuto 73, cuando ingresó a la cancha en lugar de Julian Brandt, y el encuentro lo terminaron ganando los neerlandeses en tanda de penales por 5:4. El 31 de julio de 2014 participó en la final del Campeonato Europeo de la UEFA Sub-19, en la que su selección derrotó a Portugal por marcador 1:0, con anotación de Hany Mukhtar. En 2015 disputó la Copa Mundial de Fútbol Sub-20, en la que perdieron en cuartos de final con Malí, en un encuentro que se definió en penales. En 2017 ganó la Eurocopa Sub-21, donde los alemanes derrotaron a España en la final, en la que Kempf fue titular.