En 1939 y 1940 Kempf lideró la 6º División Panzer en la Batalla de Francia. Recibió la Cruz de Caballero de la Cruz de Hierro el 3 de junio de 1940 por su papel en la campaña, y fue promovido a "Generalleutnant" el 1 de agosto de 1940. El 6 de enero de 1941, se le ordenó formar el XXXXVIII Cuerpo (motorizado), y se convirtió en su comandante, así como con su ascenso a General der Panzertruppe, el 1 de abril de 1941. Con este cuerpo Kempf tomó parte en la Operación Barbarroja, la invasión de la Unión Soviética, empezando el 22 de junio de 1941, como parte del Grupo Panzer 1 del Grupo de Ejércitos Sur, donde el cuerpo tomó parte en la Batalla de Uman y la Batalla de Kiev (1941), empujando hasta Kursk.