Kempf se unió al Ejército Imperial Alemán en 1905; tras la I Guerra Mundial, sirvió en el Reichswehr y después en la Wehrmacht. En octubre de 1937 Kempf tomó el mando de la recién formada 4ª Brigada Panzer; en enero de 1939 fue promovido a "Generalmajor". Al principio de la II Guerra Mundial en Europa, tomó parte en la invasión de Polonia como comandante de la División Panzer Kempf, que también era conocida como la "Panzerverband Ostpreußen" (Grupo Panzer Prusia Oriental) del 3º Ejército a las órdenes de Georg von Küchler. Como comandante de división, recibió la capitulación de la fortaleza Zakroczym, que fue seguida de la masacre de Zakroczym, en la conclusión de la Batalla de Modlin. La división retornó a Prusia Oriental al final de la campaña polaca, y Kempf fue nombrado comandante de la 1ª División Ligera, renombrada 6ª División Panzer, el 18 de octubre de 1939.